系统集成平台项目详细实施方案-v1.0

系统实施方案

xx软件股份有限公司

2013年11月

目录

第一章需求总体分析 (6)

1.总体需求描述 (6)

1.1应用服务器需求 (6)

1.2第三方软件产品需求 (7)

1.3项目实施进度要求 (7)

2.需求分析 (7)

第二章系统详细设计方案 (9)

1.系统总体设计 (9)

2.设备配置表 (10)

第三章系统实施方案 (12)

1.服务器安装调试方案 (12)

1.1 服务器上架 (12)

1.2服务器调试 (13)

2. Oracle RAC部署实施方案 (13)

2.1硬件环境： (13)

2.2软件环境 (13)

2.3网络环境 (14)

2.4 IP地址划分 (14)

2.5共享磁盘划分 (15)

2.6实施步骤 (15)

2.7系统环境准备 (15)

2.8安装Oracle Clusterware (32)

2.9 Clusterware版本升级 (46)

2.10安装Oracle数据库软件 (46)

2.11数据库版本升级 (57)

2.12配置Oracle Net (57)

2.13创建RAC数据库 (63)

2.14确认TNS配置 (90)

2.15测试RAC (91)

3.交易中间件实施方案 (94)

3.1建用户及目录 (94)

3.2安装 (94)

3.3部署例子 (97)

第1页共149页

4. Rose HA实施方案 (99)

4.1准备工作 (99)

4.2 RoseMirror的安装 (99)

4.3 RoseMirror的配置 (103)

4.4进行双机测试工作 (117)

5. IBM B24激活 (117)

6. IBM DS5020磁盘阵列空间映射划分 (117)

6.1创建主机组 (117)

6.2创建主机 (120)

6.3映射磁盘 (130)

第四章施工组织计划 (132)

1.工程概述 (132)

2.工程范围界定 (132)

3.xx公司施工团队 (132)

4.曙光实施团队 (133)

5.工程进度计划 (133)

6.工程实施组织计划 (134)

6.1到货验收 (134)

6.2设备加电测试/设备集中配置 (135)

6.3线下模拟测试 (136)

6.4设备安装培训 (136)

6.5服务器设备安装调试 (137)

6.6设备分发/安装/连通 (138)

6.7系统联调 (139)

6.8系统集中测试 (139)

6.9工程实施总结 (140)

第五章工程验收计划 (141)

1.初步验收 (141)

1.1验收时间 (141)

1.2验收依据 (141)

1.3验收步骤 (141)

1.4验收成果 (141)

2.最终验收 (141)

2.1验收时间 (141)

2.2验收依据 (141)

2.3验收步骤 (141)

第2页共149页

2.4验收成果 (142)

第六章培训计划 (143)

1.项目培训方案 (143)

1.1培训目标 (143)

1.1培训方式、地点及人数 (144)

1.2高性能计算培训课程内容 (144)

第七章风险分析及应对措施 (147)

第八章用户需提供的 (148)

1.数据和安装软件需提供的 (148)

2.服务器安装需提供的 (148)

3.操作系统及其他数据库和中间件软件介质提供 (148)

4.第三方协助 (148)

5. IP地址及Vlan划定分配 (148)

第3页共149页

图例索引

图1总体新增图 .................................................................... 错误！未定义书签。图2总体架构 (9)

图3服务器上架图 (12)

图4Oracle RAC部署图 (14)

第4页共149页

表格索引

表1设备具体配置表 (10)

表2xx公司实施团队 (132)

表3厂家实施成员 (133)

表4工程进度表 (133)

表5到货验收工作安排 (134)

表6到货验收工作步骤 (134)

表7设备加电测试工作安排 (135)

表8设备加电测试工作步骤 (135)

表9加电测试工作成果 (136)

表10模拟测试工作安排 (136)

表11模拟测试工作步骤 (136)

表12模拟测试工作成果 (136)

表13设备安装培训工作安排 (137)

表14设备安装培训工作步骤 (137)

表15设备安装培训工作成果 (137)

表16服务器安装调试工作安排 (137)

表17服务器安装调试工作步骤 (138)

表18现场施工工作安排 (138)

表19现场施工工作步骤 (138)

表20现场施工工作成果 (139)

表21系统联调工作安排 (139)

表22系统集中测试工作安排 (139)

表23系统集中测试工作步骤 (139)

表24系统集中测试工作成果 (140)

表25工程实施总结工作安排 (140)

表26风险分析及应对措施 (147)

第5页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案

第一章需求总体分析

1. 总体需求描述

1.1应用服务器需求

本次招标采购的服务器部署网络拓扑结构主要如下图所示：

(1) 2台作为数据库服务器，部署ORACLE RAC组成数据库集群；

集成商负责操作系统、ORACLE数据库系统的安装调试；

(2) 2台作为交易中间件服务器，形成双机热备，集成商需要负责操作系统、TUXEDO交易中间件、双机热备系统的安装调试；

(3) 6台服务器主要运行柜面应用（2台）、网银应用（2台）、电子签章、征信业务平台。每台主机安装3块硬盘（RAID5）。集成商需要负责操作系统、weblogic 安装与调试；

第6页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案

(4) 2台共享存储服务器形成双机热备，需要访问已有共享存储设备，集成商需要负责操作系统、双机热备系统的安装调试。

(5) 2台IBM B24光纤交换机8口激活许可及8口8G光纤模块。

(6) 服务器使用光纤交换机及现有SVC控制器挂载磁盘阵列，支持SAN存储网络，集成商须负责提供部署实施、技术支持以及后期维护服务。

(7) 所有设备搭建利用已有网络环境；

(8) 服务器设备优先选择国产品牌；

1.2第三方软件产品需求

本项目所需购买的第三方软件产品主要包括：双机热备软件。

集成商须负责提供部署实施、技术支持以及后期维护服务。

1.3项目实施进度要求

1、采购设备需在合同签订后１５天内到货；

2、设备在合同签订后２０天内完成安装调试及测试工作；

2. 需求分析

此次项目建设需求落实到设备表上如下：

第7页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案

第8页共149页

“xxxxx 公司汽车金融业务系统硬件平台”系统实施方案 第9页共149页 第二章 系统详细设计方案

1. 系统总体设计

本次采购服务器加入到xxxxx 公司总体拓扑图中如下图所示：

12台新增曙光服务器分为Oracle RAC 服务器2台，交易中间件服务器2台，应用服务器6台及共享存储服务器2台。

本次项目建设内容为汽车金融业务系统硬件平台建设，具体总体拓扑图如下：

图 1 总体架构

根据上图所示：汽车金融业务系统硬件平台分为几个部分：

1、 交易中间件集群

配置2台八路服务器安装操作系统、交易中间件、双机热备系统，完成交易。其中双机热备软件选购ROSE HA 双机热备软件，需要挂载共享存储。

本方案通过2台八路服务器HBA 卡连接共享存储IBM5020实现双机热备。

2、 数据库集群

配置2台高性能八路服务器安装操作系统、oracle rac ，需要通过服务器HBA 卡连接共享存储，实现结构化数据的管理。

3、 共享存储服务器集群

配置2台双路服务器安装部署附件上传等应用，通过服务器HBA

卡连接共享存

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案储，实现非结构化数据的存储及管理。

4、应用服务器集群

6台服务器主要运行柜面应用集群（2台）、网银应用集群（2台）、电子签章（1台）、征信业务平台（1台）。每台主机安装3块硬盘（RAID5）。

5、共享存储

共享存储采用利旧设备IBM5020，同时配备IBM3400做同步镜像的复制，保证数据安全。

2. 设备配置表

表 1设备具体配置表

第10页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案

第11页共149页

“xxxxx 公司汽车金融业务系统硬件平台”系统实施方案 第12页共149页 第三章 系统实施方案

1. 服务器安装调试方案

1.1 服务器上架

图 2 服务器上架图

如上图所示，需要增加2个服务器机柜，2个机柜的顶部分别需要配置一个配线 架及一个光纤架，用于前兆网络的链接及与IBM B24 SAN

光纤交换机链接，接

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案入xx公司内网和存储光纤网络中。

其中2台oracle RAC服务器、2台交易中间件服务器及2台存储共享服务器接入SAN中，其他服务器接入内网，不用接入SAN。

1.2服务器调试

等服务器都上架安装及加电成功后，由厂家人员现场安装Rad hat linux操作系统及做其他的配置。

2. Oracle RAC部署实施方案

2.1硬件环境：

服务器：曙光I950r-G

客户端：PC

2.2软件环境

操作系统：Red hat 6.x

软件应用：

linux_11gR1_database_1013.zip

linux_x86_11gR1_clusterware.zip

oracleasmlib-2.0.4-1.el5.i386.rpm

oracleasm-2.6.18-194.11.1.el5-2.0.5-1.el5.i686.rpm

oracleasm-support-2.1.3-1.el5.i386.rpm

第13页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案2.3网络环境

2.3.1网络结构图

图 3Oracle RAC部署图

2.4IP地址划分

db1：主数据库服务器

db2：备数据库服务器

第14页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案2.5共享磁盘划分

2.6实施步骤

2.7系统环境准备

2.7.1配置主机解析文件

主数据库节点：

备数据库节点：

第15页共149页

“xxxxx 公司汽车金融业务系统硬件平台”系统实施方案 第16页共149页 修改完hosts 文件以后，重起network 服务

2.7.2 检查所需软件包

在每个节点上做以下配置信息，查看依赖的rpm 包是否安装:make binutils libaio-devel libaio elfutils-libelf-devel compat-libstdc++-33 libgcc gcc gcc-c++ glibc sysstat libstdc++ libstdc++-devel unixODBC-devel unixODBC

2.7.3 配置系统内核参数 [root@db1 ~]# tail -n 20 /etc/sysctl.conf kernel.shmall = 2097152 kernel.shmmax = 4294967295 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 fs.file-max = 165536 net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default = 1048576 net.core.rmem_max = 1048576 net.core.wmem_default = 262144

net.core.wmem_max = 262144

[root@db1 ~]#sysctl –

p

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案2.7.4设置Shell对Oracle用户的限制

以root用户身份，在每个节点上执行相同的操作：

首先，修改/etc/security/limits.conf，在文件最后添加如下内容：

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

接着，修改/etc/pam.d/login，在文件最后添加如下内容：

session required /lib/security/pam_limits.so

最后，修改/etc/profile，在文件最后添加如下内容：

if [ $USER = "oracle" ]; then

if [ $SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

fi

所有修改完毕，重启所有Linux系统。

2.7.5配置hangcheck-timer内核模块

以root用户身份执行，在所有节点上做如下配置：

查看模块是否存在：

[root@db1 ~]#find /lib/modules -name "hangcheck-timer.ko"

接着，编辑/etc/modprobe.conf：

[root@db1 ~]# vi /etc/modprobe.conf

第17页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案在文件的末尾加入一行：

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

然后，将hangcheck-timer模块配置为自启动：

[root@db1 ~]#vi /etc/rc.d/rc.local

在文件的末尾加入一行：

/sbin/modprobe hangcheck_timer

接着，启动hangcheck：

[root@db1 ~]# /sbin/modprobe hangcheck_timer

最后，检查hangcheck是否成功启动：

[root@db1 ~]#grep hangcheck /var/log/messages | tail -2

Aug 26 19:08:17 Mysql1 kernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 30 seconds, margin

is 180 seconds).

如果显示上面输出信息说明已经成功启动hangcheck。

2.7.6配置系统安全设置

关闭iptables，可以直接执行如下命令：

[root@db1 ~]# iptables –F

[root@db1 ~]# /etc/init.d/iptables save

最后，将selinux禁用即可，也就是修改/etc/selinux/config文件，修改后的内容为：

SELINUX=disabled

SELINUXTYPE=targeted

2.7.7配置NTP

主数据库服务器配置：

编辑/etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 stratum 8

第18页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案driftfile /var/lib/ntp/drift

启动ntpserver service ntpd start

添加到系统自启动 chkconfig --level 12345 ntpd on 备服务器配置：

[root@db2 ~]# crontab –e

* * * * * /usr/sbin/ntpdate 192.168.100.100

2.7.8创建Oracle用户和组

在安装进行之前，需要创建两个用户组和一个用户，分别用于oracle安装和oracle

管理，在两个节点执行相同的操作，操作如下：

[root@db1 ~]#groupadd –g 1001 dba

[root@db1 ~]#groupadd –g 1002 oinstall

[root@db1 ~]#useradd -u 1001 -g oinstall -G dba oracle

然后，给oracle用户设置密码：

[root@db1 ~]# passwd oracle

最后，确认匿名用户nobody是否存在于系统中，因为在安装完成后nobody 用户需

要执行一些扩展任务：

[root@db1 ~]# id nobody

uid=99(nobody) gid=99(nobody) groups=99(nobody)

2.7.9设置Oracle用户环境(.bash_profile)变量

主数据库：

export ORACLE_BASE=/u01/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.0.6/rac_db

export ORA_CRS_HOME=/app/crs/product/11.0.6/crs

第19页共149页

“xxxxx公司汽车金融业务系统硬件平台”系统实施方案export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin export ORACLE_SID=db1

export NLS_LANG=AMERICAN_AMERICA.zhs16gbk

export NLS_DATE_FORMA T="YYYY-MM-DD HH24:MI:SS"

export PATH=.:${PA TH}:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin

export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin

export ORACLE_TERM=xterm

export TNS_ADMIN=$ORACLE_HOME/network/admin

export ORA_NLS10=$ORACLE_HOME/nls/data

export LD_LIBRARY_PA TH=$ORACLE_HOME/lib

export LD_LIBRARY_PA TH=${LD_LIBRARY_PA TH}:$ORACLE_HOME/oracm/lib

export LD_LIBRARY_PA TH=${LD_LIBRARY_PA TH}:/lib:/usr/lib:/usr/local/lib

export CLASSPA TH=$ORACLE_HOME/JRE

export CLASSPA TH=${CLASSPA TH}:$ORACLE_HOME/jlib

export CLASSPA TH=${CLASSPA TH}:$ORACLE_HOME/rdbms/jlib

export CLASSPA TH=${CLASSPA TH}:$ORACLE_HOME/network/jlib

export THREADS_FLAG=native

export TEMP=/tmp

export TMPDIR=/tmp

备数据库：

export ORACLE_BASE=/u01/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.0.6/rac_db

export ORA_CRS_HOME=/app/crs/product/11.0.6/crs

export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/amin

第20页共149页

本文来源：https://www.bwwdw.com/article/6dhl.html