ORACLE+11g - RAC部署方案

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

系统集成实施方案系列之

ORACLE_RAC部署方案

1 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

文档说明

为将福建福诺移动通信技术有限公司所承接系统集成项目中的工作效率化、规范化，制定系统集成实施系列方案，希望本文档所提供的解决方案能在集成项目规划和建设中发挥应有的作用。

文档属性：

属性 文档主题 文档编号 内容 ORACLE_RAC部署方案 作者 版本 状态 错误！未找到引用源。

文档变更：

版本 0.1

提交列表：

姓名

单位 福建福诺移动通信技术有限公司 目的 备注 修订日期 2011.8.21 修订人 李基爱 描述

2 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

目录

1

部署环境要求 ............................................................................................................................................ 5 1.1 1.2 1.3

硬件环境： ................................................................................................................................ 5 软件环境 .................................................................................................................................... 5 网络环境 .................................................................................................................................... 6 1.3.1 1.4 1.5 2

网络结构图 ........................................................................................................................ 6

IP地址划分 ................................................................................................................................ 6 共享磁盘划分 ............................................................................................................................ 7

实施步骤 .................................................................................................................................................... 8 2.1

系统环境准备 ............................................................................................................................ 8 2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 2.1.7 2.1.8 2.1.9 2.1.10 2.1.11 2.1.12 2.1.13 2.1.14 2.2 2.3

配置主机解析文件 ............................................................................................................ 8 检查所需软件包 ................................................................................................................ 8 配置系统内核参数 ............................................................................................................ 9 设置 Shell对Oracle用户的限制 ..................................................................................... 9 配置hangcheck-timer内核模块 ...................................................................................... 10 配置系统安全设置 .......................................................................................................... 11 配置NTP .......................................................................................................................... 11 创建Oracle用户和组 ...................................................................................................... 12 设置Oracle用户环境(.bash_profile)变量 ...................................................................... 13

在各节点上创建目录 .............................................................................................. 15 配置节点间SSH信任 ............................................................................................. 15 创建共享磁盘 .......................................................................................................... 17 建立和配置raw设备 .............................................................................................. 25 解压软件包 .............................................................................................................. 27

安装Oracle Clusterware .......................................................................................................... 27 Clusterware版本升级 .............................................................................................................. 41

3 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

2.4 2.5 2.6 2.7 2.8 2.9

安装Oracle数据库 .................................................................................................................. 41 数据库版本升级 ...................................................................................................................... 52 配置Oracle Net ........................................................................................................................ 52 创建RAC数据库 .................................................................................................................... 58 确认TNS配置 ......................................................................................................................... 85 测试RAC ................................................................................................................................. 86

4 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

1 部署环境要求

1.1 硬件环境：

? 服务器：IBM x3755 ? 客户端：PC

1.2 软件环境

? 操作系统：RHEL5.1 32bit ? 软件应用：

? linux_11gR1_database_1013.zip ? linux_x86_11gR1_clusterware.zip ? oracleasmlib-2.0.4-1.el5.i386.rpm

? oracleasm-2.6.18-194.11.1.el5-2.0.5-1.el5.i686.rpm ? oracleasm-support-2.1.3-1.el5.i386.rpm

5 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

1.3 网络环境

1.3.1 网络结构图

1.4 IP地址划分

? db1：主数据库服务器 ? db2：备数据库服务器

主机名 db1 db1 db1 eth0 N/A eth1 网卡 IP地址 192.168.100.100 192.168.100.101 10.0.0.1 6 / 89

备注 公网IP 虚拟IP 私有IP

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

db2 db2 db2

eth0 N/A eth1 192.168.100.200 192.168.100.201 10.0.0.2 公网IP 虚拟IP 私有IP 1.5 共享磁盘划分

7 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

2 实施步骤

2.1 系统环境准备

2.1.1 配置主机解析文件

? 主数据库节点：

? 备数据库节点：

? 修改完hosts文件以后，重起network服务

2.1.2 检查所需软件包

在每个节点上做以下配置信息，查看依赖的rpm包是否安装: make binutils libaio-devel libaio elfutils-libelf-devel compat-libstdc++-33 libgcc gcc gcc-c++ glibc sysstat libstdc++ libstdc++-devel unixODBC-devel unixODBC

8 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

2.1.3 配置系统内核参数

[root@db1 ~]# tail -n 20 /etc/sysctl.conf

kernel.shmall = 2097152 kernel.shmmax = 4294967295 kernel.shmmni = 4096

kernel.sem = 250 32000 100 128 fs.file-max = 165536

net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default = 1048576 net.core.rmem_max = 1048576 net.core.wmem_default = 262144 net.core.wmem_max = 262144 [root@db1 ~]#sysctl –p

2.1.4 设置 Shell对Oracle用户的限制

? 以root用户身份，在每个节点上执行相同的操作：

首先，修改/etc/security/limits.conf，在文件最后添加如下内容： oracle soft nproc 2047

9 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536

接着，修改/etc/pam.d/login，在文件最后添加如下内容： session required /lib/security/pam_limits.so

最后，修改/etc/profile，在文件最后添加如下内容： if [ $USER = \

if [ $SHELL = \ ulimit -p 16384 ulimit -n 65536 else

ulimit -u 16384 -n 65536 fi fi

所有修改完毕，重启所有Linux系统。

2.1.5 配置hangcheck-timer内核模块

? 以root用户身份执行，在所有节点上做如下配置 ：

查看模块是否存在：

[root@db1 ~]#find /lib/modules -name \ 接着，编辑/etc/modprobe.conf： [root@db1 ~]# vi /etc/modprobe.conf

10 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

在文件的末尾加入一行：

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180 然后，将hangcheck-timer模块配置为自启动： [root@db1 ~]#vi /etc/rc.d/rc.local 在文件的末尾加入一行： /sbin/modprobe hangcheck_timer 接着，启动hangcheck：

[root@db1 ~]# /sbin/modprobe hangcheck_timer 最后，检查hangcheck是否成功启动：

[root@db1 ~]#grep hangcheck /var/log/messages | tail -2

Aug 26 19:08:17 Mysql1 kernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 30 seconds, margin is 180 seconds).

如果显示上面输出信息说明已经成功启动hangcheck。

2.1.6 配置系统安全设置

关闭iptables，可以直接执行如下命令： [root@db1 ~]# iptables –F

[root@db1 ~]# /etc/init.d/iptables save

最后，将selinux禁用即可，也就是修改/etc/selinux/config文件，修改后的内容为： SELINUX=disabled SELINUXTYPE=targeted

2.1.7 配置NTP

? 主数据库服务器配置：

11 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

编辑/etc/ntp.conf

server 127.127.1.0

fudge 127.127.1.0 stratum 8 driftfile /var/lib/ntp/drift 启动ntpserver service ntpd start

添加到系统自启动 chkconfig --level 12345 ntpd on

? 备服务器配置：

[root@db2 ~]# crontab –e

* * * * * /usr/sbin/ntpdate 192.168.100.100

2.1.8 创建Oracle用户和组

在安装进行之前，需要创建两个用户组和一个用户，分别用于oracle安装和oracle 管理，在两个节点执行相同的操作，操作如下： [root@db1 ~]#groupadd –g 1001 dba [root@db1 ~]#groupadd –g 1002 oinstall

[root@db1 ~]#useradd -u 1001 -g oinstall -G dba oracle 然后，给oracle用户设置密码： [root@db1 ~]# passwd oracle

最后，确认匿名用户nobody是否存在于系统中，因为在安装完成后nobody用户需 要执行一些扩展任务： [root@db1 ~]# id nobody

uid=99(nobody) gid=99(nobody) groups=99(nobody)

12 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

2.1.9 设置Oracle用户环境(.bash_profile)变量

? 主数据库：

export ORACLE_BASE=/u01/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.0.6/rac_db export ORA_CRS_HOME=/app/crs/product/11.0.6/crs

export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin export ORACLE_SID=db1

export NLS_LANG=AMERICAN_AMERICA.zhs16gbk export NLS_DATE_FORMAT=\

export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin export ORACLE_TERM=xterm

export TNS_ADMIN=$ORACLE_HOME/network/admin export ORA_NLS10=$ORACLE_HOME/nls/data export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

13 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

export THREADS_FLAG=native export TEMP=/tmp export TMPDIR=/tmp

? 备数据库：

export ORACLE_BASE=/u01/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.0.6/rac_db export ORA_CRS_HOME=/app/crs/product/11.0.6/crs

export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/amin export ORACLE_SID=db2

export NLS_LANG=AMERICAN_AMERICA.zhs16gbk export NLS_DATE_FORMAT=\

export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin export ORACLE_TERM=xterm

export TNS_ADMIN=$ORACLE_HOME/network/admin export ORA_NLS10=$ORACLE_HOME/nls/data export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

14 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib export THREADS_FLAG=native export TEMP=/tmp export TMPDIR=/tmp

2.1.10 在各节点上创建目录

root@db1 ~]# mkdir -p /u01/oracle/product/11.0.6/rac_db [root@db1 ~]# mkdir -p /app/crs/product/11.0.6/crs [root@db1 ~]# chown -R oracle:oinstall /u01/oracle [root@db1 ~]#chown -R oracle:oinstall /app [root@db1 /]# chown -R oracle:oinstall u01/ [root@db1 /]# chmod -R 755 u01/

[root@db1 /]# chown -R oracle:oinstall app/ [root@db1 /]# chmod -R 755 app/

2.1.11 配置节点间SSH信任

? 在每个节点上创建 RSA密钥和公钥

以 oracle 用户登录在 oracle用户的根目录内创建.ssh目录并设置读取权限

[oracle@db1 ~]$ mkdir ~/.ssh [oracle@db1 ~]$ chmod 700 ~/.ssh

使用ssh-keygen命令生成基于SSH协议的RSA密钥

[oracle@db1 ~]$ cd ~/.ssh

[oracle@db1 .ssh]$ ssh-keygen -t rsa

15 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

Generating public/private rsa key pair.

Enter file in which to save the key (/home/oracle/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again:

Your identification has been saved in /home/oracle/.ssh/id_rsa. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. The key fingerprint is:

dd:69:5a:aa:e6:85:88:a4:07:72:ab:15:7b:3b:4a:77 oracle@db1

在提示保存私钥（key）和公钥（public key）的位置时，选择使用默认值，然后依次直接回车即可。 ? 整合公钥文件

以 Oracle 用户登录在要执行Oracle安装程序的节点db1 上执行如下操作：

[oracle@db1 ~] $ cd ~/.ssh

[oracle@db1 .ssh]$ ssh db1 cat /home/oracle/.ssh/id_rsa.pub >> authorized_keys [oracle@db1 .ssh]$ ssh db2 cat /home/oracle/.ssh/id_rsa.pub >> authorized_keys [oracle@db1 .ssh]$ chmod 600 ~/.ssh/authorized_keys [oracle@db1 .ssh]$scp authorized_keys db2:/home/oracle/.ssh/

这个操作过程是将两个节点生成的公钥文件整合为一个authorized_keys文件，然后进行授权，并将authorized_keys拷贝到另一个节点。 ? 测试SSH互信

首先在db1节点上执行： [oracle@db1 ~]$ ssh db1 date [oracle@db1 ~]$ ssh db2 date 然后在db2节点上执行

16 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

[oracle@db2 ~]$ ssh db1 date [oracle@db2 ~]$ ssh db2 date

2.1.12 创建共享磁盘

由于没有物理存储磁盘可用，在此用vmware虚拟磁盘进行模拟：

在存有较大容量的磁盘上建立一个共享文件夹share，将vmware安装的文件夹下的下列文件拷贝到share目录下：

vmware-vdiskmanager.exe vmcryptolib.dll ssleay32.dll libeay32.dll

? 建立共享磁盘文件：

vmware-vdiskmanager.exe -c -s 15Gb -a lsilogic -t 2 sdb.vmdk vmware-vdiskmanager.exe -c -s 30Gb -a lsilogic -t 2 sdc.vmdk

? 点击db1的”edit virtual machine setting”，按以下步骤操作：

17 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 选择一个已存在的虚拟磁盘：

18 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 指定虚拟磁盘文件路径：

19 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 点击下一步：

? 点击advanced，修改磁盘共享总线：

20 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

/dev/sdc也按以上方法操作。

? 配置db1和db2的vmx文件，增加如下内容信息

scsi1.present = \scsi1.virtualDev = \ scsi1.sharedBus = \scsi1:1.present = \

scsi1:1.mode = \scsi1:1.fileName = \scsi1:1.deviceType = \

21 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

scsi1:2.present = \

scsi1:2.mode = \scsi1:2.fileName = \scsi1:2.deviceType = \disk.locking = \

diskLib.dataCacheMaxSize = \

diskLib.dataCacheMaxReadAheadSize = \ diskLib.dataCacheMinReadAheadSize = \ diskLib.dataCachePageSize = \ diskLib.maxUnsyncedWrites = \

? 登录系统后，根据共享存储规划进行分区：

22 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 执行完之后显示如下：

? 主数据库：

23 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 备数据库：

24 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

2.1.13 建立和配置raw设备

通过udev来管理raw，添加raw设备对应的配置文件为/etc/udev/rules.d/60-raw.rules。

ACTION==\ACTION==\ACTION==\ACTION==\ACTION==\ACTION==\ACTION==\

25 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

ACTION==\ACTION==\ACTION==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\KERNEL==\

? 在各节点上启动udev服务生成raw设备：

[root@db1 /]# start_udev

Starting udev: [ OK ]

? 接着验证一下raw设备是否生成：

从输出可以看出，raw设备已经生成，并且相关权限也自动加载。

26 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

2.1.14 解压软件包

? 将数据库所有软件放在了/opt目录下，首先需要解压Oracle的两个软件包，操作如下：

[root@db1 opt]#ls

linux_11gR1_database_1013.zip

linux_x86_11gR1_clusterware.zip

[root@db1 rac]#unzip linux_x86_11gR1_clusterware.zip [root@db1 rac]#unzip linux_11gR1_database_1013.zip

? 安装补丁包：在各节点上按顺序安装以下补丁包

/opt/clusterware/rpm/cvuqdisk-1.0.1-1.rpm /opt/oracleasm-support-2.1.3-1.el5.i386.rpm

/opt/oracleasm-2.6.18-128.1.10.el5-2.0.5-1.el5.i686.rpm /opt/oracleasmlib-2.0.4-1.el5.i386.rpm

2.1.15 验证安装环境

? 以oracle身份登录系统，执行如下命令：

[oracle@db1~]$/opt/clusterware/runcluvfy.sh stage -pre crsinst -n db1,db2 -verbose

2.2 安装Oracle Clusterware

? 先用root用户登录图形界面，执行以下命令:

? 切换到oracle用户,执行以下命令：

27 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

[root@db1 /]# su – oracle

[oracle@db1 /]$ cd /opt/clusterware/ [oracle@db1 clusterware ]$ ] ./runInstaller

28 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

29 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

30 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

31 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

32 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

33 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

34 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

35 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

36 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

37 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 根据安装向导提示，以root用户身份在所有节点上分别执行上述两个脚本，要一个节点一个节点

地执行，在db1执行root.sh时的信息如下：

38 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 继续在db2执行root.sh脚本，输出如下：

39 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 查看Clusterware 启动状态

40 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

至此，Clusterware安装完成。

2.3 Clusterware版本升级

后续补充。。。

2.4 安装Oracle数据库软件

在Oracle ClusterWare安装成功后，开始进入Oracle数据库的安装，以oracle用户身份登录到任意一个集群节点，执行如下命令开始安装：

[oracle@db1 rac]$ /rac/database/runInstaller

41 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

接着就会弹出图形安装向导界面：

42 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

43 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

44 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

45 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

46 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

47 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

48 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

49 / 89

福建福诺移动通信技术有限公司 信息服务部 ORACLE-RAC 部署方案

? 分别在db1、db2上执行root.sh

? 主数据库服务器：

50 / 89

本文来源：https://www.bwwdw.com/article/jxir.html