ORACLE11g+R1+RAC+FOR+AIX6.1+HA5.4安装安装实施报告2009-11-04[

神州数码（中国）有限公司/Digital China（China） Limited

ORACLE11g R1 RAC FOR AIX6.1+HA5.4安装实施报告

神州数码（中国）有限公司

1/45

神州数码（中国）有限公司/Digital China（China） Limited

文档控制

修改记录

日期 2009-11-01 作者 郑全 版本 1.0 修改记录 创建 审阅

姓名 职位 分发

拷贝No. 1 2 3 4 姓名 单位 2/45

神州数码（中国）有限公司/Digital China（China） Limited

软硬件现状

硬件清单

? 数据库服务器P570-2台，主要配置如下： ? CPU 2个 ? 内存 16G

? 数据库服务器磁盘阵列–DS5100 ? RAID 5 ? 安装产品如下：

sjckdb1 安装数据库RAC的一个实例，并升级到11.1.0.7 sjckdb2 安装数据库RAC的一个实例，并升级到11.1.0.7

软件清单

? ? ? ?

操作系统：AIX 6.1

群集软件：HACMP 5.4.1 ORACLE CRS 数据库：ORACLE 11G DATABASE RELEASE 1 数据库补丁集：11.1.0.7

系统环境需求

安装前的系统环境准备

? ? ?

检查AIX服务器安装完成并打上最新的补丁集 网络环境连通并调试正常。

磁盘阵列安装完成并按ORACLE系统进行磁盘裸设备的划分。

硬件要求

? ?

内存：> 2G。

SWAP区：2G。通常等于物理内存，最低不少于1G。

3/45

神州数码（中国）有限公司/Digital China（China） Limited

? ? ?

硬盘容量：数据库软件 > 4G。数据库 > 2G。 /tmp：临时目录空间大于500M。 CDROM：支持ISO 9660。

软件要求

?

操作系统及Patches：

AIX 6.1L, AIX 5L version 5.3, TL 05, Service Pack 06 (Part Number B32076-03), AIX 6L version 6.1, TL 00, Service Pack 04 or later (Part Number B32076-03)

High Availability Cluster Multi-Processing (HACMP) v5.3 General Parallel File System (GPFS) v2.3.0.3 or later

6.1 / 5.3 ML5 required packages: bos.adt.base bos.adt.lib bos.adt.libm

bos.perf.libperfstat bos.perf.perfstat bos.perf.proctools

xlC.aix50.rte:8.0.0.7 or later (AIX 5.3) xlC.rte:8.0.0.7 or later (AIX 5.3)

xlC.aix61.rte:9.0.0.1 or later (AIX 6.1) xlC.rte:9.0.0.1 or later (AIX 6.1)

rsct.basic.rte (For RAC configurations only)

rsct.compat.clients.rte (For RAC configurations only)

5.3 ML5 required patches: IY89080 IY92037 IY94343

IZ01060 or efix for IZ01060

IZ03260 or efix for IZ03260 (IZ03260 for ML6, IZ03475 for ML7) to address ORA-27061 IY84780 IY68989

4/45

神州数码（中国）有限公司/Digital China（China） Limited

一． 安装准备工作

1. 检查系统要求

# oslevel –s 6100-03-01-0921

2. 内存容量

# /usr/sbin/lsattr -HE -l sys0 -a realmem

attribute value description user_settable

realmem 13893632 Amount of usable physical memory in Kbytes False

3. 操作系统位数检查

# bootinfo –K 64

# /usr/bin/getconf HARDWARE_BITMODE 64

4. 交换空间

# lsps -a

Page Space Physical Volume Volume Group Size %Used Active Auto Type Chksum

paging00 hdisk0 rootvg 6144MB 1 yes no lv 0

hd6 hdisk0 rootvg 6144MB 1 yes yes lv 0

5. 空间检查

# df -g

Filesystem GB blocks Free %Used Iused %Iused Mounted on /dev/hd4 2.00 1.84 9% 13599 4% /

5/45

神州数码（中国）有限公司/Digital China（China） Limited

/dev/hd2 2.25 0.08 97% 46467 66% /usr /dev/hd9var 2.00 1.76 12% 7185 2% /var /dev/hd3 5.00 4.99 1% 37 1% /tmp /dev/hd1 2.00 2.00 1% 5 1% /home /dev/hd11admin 0.25 0.25 1% 5 1% /admin /proc - - - - - /proc /dev/hd10opt 2.00 1.73 14% 8463 3% /opt /dev/livedump 0.25 0.25 1% 4 1% /var/adm/ras/livedump

/dev/oracle_lv 20.00 20.00 1% 4 1% /oracle

6. 建立oracle用户和dba组

指定oracle用户的组是dba,两边GID,UID相同 /usr/sbin/usermod -G dba oracle

7. 设置系统参数

使用# smit chgsys设置Maximum number of PROCESSES allowed for each user 大于等于 2048

使用# smit chuser 修改shell限制，具体修改以下值

Shell Limit (As Shown in smit) Recommended Value

Soft FILE size Soft CPU time Soft DATA segment Soft STACK size

-1 (Unlimited) -1 (Unlimited) -1 (Unlimited) -1 (Unlimited) -1 (Unlimited)

Soft Real Memory size

使用# chdev -l sys0 -a ncargs=128修改系统可以执行长命令

设置lru_file_repage=0 (默认为1)，保留计算页面不重分页

# vmo -p -o lru_file_repage=0

?

设置网络参数

验证：/usr/sbin/no -a | more

# /usr/sbin/lsattr -E -l sys0 -a pre520tune 如果系统运行在compatibility模式，则输出的结果如下：

pre520tune enable Pre-520 tuning compatibility mode True 否则为disable

6/45

神州数码（中国）有限公司/Digital China（China） Limited

如果是compatibility模式，则执行如下操作： # vi /etc/rc.net

if [ -f /usr/sbin/no ] ; then /usr/sbin/no -o udp_sendspace=65536 /usr/sbin/no -o udp_recvspace=655360 /usr/sbin/no -o tcp_sendspace=65536 /usr/sbin/no -o tcp_recvspace=65536 /usr/sbin/no -o rfc1323=1 /usr/sbin/no -o sb_max=1310720 /usr/sbin/no -o ipqmaxlen=512 fi

如果不是compatibility模式，则执行如下操作： /usr/sbin/no -p -o udp_sendspace=65536 /usr/sbin/no -p -o udp_recvspace=655360 /usr/sbin/no -p -o tcp_sendspace=65536 /usr/sbin/no -p -o tcp_recvspace=65536 /usr/sbin/no -p -o rfc1323=1 /usr/sbin/no -p -o sb_max=1310720 /usr/sbin/no -r -o ipqmaxlen=512

以上操作自动写到以下文件中 /etc/tunables/nextboot

同时，需要重启系统才能生效ipqmaxlen

8. IP地址

私有IP地址必需与公网分离,两个节点可互相访问可以ping通,必须在 /etc/hosts里有；

虚拟IP地址同公网IP地址是一个网段的，如果有DNS就注册在DNS中，如果没有DNS就写在/etc/hosts文件里；

公网IP地址，是主机真正的IP地址，主机管理员预先分配，如果有DNS就注册在DNS中，如果没有DNS就写在/etc/hosts文件里），并且保证写入每个客户系统中的hosts文件。

在各个节点的网卡配置必须相同，例如：第一个节点公共IP是用en0，那么其他节点也得用en0

7/45

神州数码（中国）有限公司/Digital China（China） Limited

$ cat /etc/hosts

127.0.0.1 localhost loopback # loopback (lo0) name/address

#public network

192.168.5.5 node1 192.168.5.7 node2

#virtual IP

192.168.5.6 node1-vip 192.168.5.8 node2-vip

#private IP

10.0.1.1 node1-priv 10.0.1.2 node2-priv

--检查网络设置 # hostname # netstat –in # ifconfig –a # ping

9. 主机名称

不允许出现大写字母，要求是小写字母和数字

第一个节点

$hostname node1

第二个节点

$hostname node2

10. 配置主机的信任性

由于系统使用了HACMP，ROOT用户已经配置了主机信任，只需要配置ORACLE用户的信任.

/etc/hosts.equiv $HOME/.rhosts

8/45

神州数码（中国）有限公司/Digital China（China） Limited

node1 root node2 root node1 oracle node1 oracle 测试，使用rsh 对对方，不提示密码即可。

11. 创建必须的逻辑卷

首先使用命令进行逻辑卷的创建，然后需要进行两台机器之间的同步，这个工作由HACMP来完成，后期的逻辑卷的创建建议使用smitty hacmp图形化的工具进行创建。

1． 建立卷组

在一个节点上建立卷组

# /usr/sbin/mkvg -y VGname -B -s PPsize -V majornum -n -C PhysicalVolume

各参数解释：

-y Vgname：VOLUME GROUP name -B: Create a big VG format

-s: Specify the size of the physical partitions for the database -V: Specify the device major number for the volume group -n: Activate VOLUME GROUP AUTOMATICALLY at system restart

-C：Specify this option to create a concurrent capable volume group

激活新建立卷组

# /usr/sbin/varyonvg VGname

2． 建立逻辑卷

# /usr/sbin/mklv -y LVname -T O -w n -s n -r n VGname NumPPs

各参数解释： -y:逻辑卷名称

-T O: specifies that the device subtype should be z, which causes Oracle to use a zero offset when accessing this raw logical volume

注意：这个参数必须加上，否则，可能会出现Oracle bug 2620053

-w n:不镜象， -s n:不严格限制

-r n:不重定位

Numpps: the number of physical partitions to use

比如：

#/usr/sbin/mklv -y test_sysaux_raw_800m -T O -w n -s n -r n oracle_vg1 25

9/45

神州数码（中国）有限公司/Digital China（China） Limited

3． 修改逻辑卷的所有者和权限

# chown oracle:dba /dev/rdbname* # chmod 660 /dev/rdbname*

4． 接点间同步

A、 在创建卷组的节点上去激活卷组

# /usr/sbin/varyoffvg VGname B、 在其他节点引入卷组

# /usr/sbin/importvg -y VGname -V MajorNumber PhysicalVolume

如：

# /usr/sbin/importvg -y oracle_vg1 -V 45 hdisk3

C、 修改权限

# chown oracle:dba /dev/rdbname*

# chmod 660 /dev/rdbname*

D、 在所有节点取消卷组随机器启动而启动标志

# /usr/sbin/chvg -a n VGname

5． 激活并发性

在所有节点执行以下命令来激活卷组于并发模式 # /usr/sbin/varyonvg -c VGname

示例命令行

mklv -y'rac_ctl1' -w'n' -s'n' -r'n' datavg 1 hdisk13 hdisk14 hdisk15

rac_system01 rac_sysaux01 rac_temp01 rac_user01

rac_undotbs1_01 rac_undotbs2_01 rac_redo11 rac_redo12 rac_redo21 rac_redo22 rac_ctl1 rac_ctl2 rac_ctl3

10/45

神州数码（中国）有限公司/Digital China（China） Limited

rac_spfile rac_pwdfile

12. 检查系统补丁

如下的文件集和必要的补丁包需要安装

■ bos.adt.base ■ bos.adt.lib ■ bos.adt.libm

■ bos.perf.libperfstat ■ bos.perf.perfstat ■ bos.perf.proctools

■ xlC.aix50.rte:8.0.0.7 or later (AIX 5.3) ■ xlC.rte:8.0.0.7 or later (AIX 5.3) ■ xlC.aix61.rte:9.0.0.1 or later (AIX 6.1) ■ xlC.rte:9.0.0.1 or later (AIX 6.1)

# lslpp -l bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat bos.perf.perfstat bos.perf.proctools xlC.aix61.rte xlC.rte

# lslpp -l bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat bos.perf.perfstat bos.perf.proctools xlC.aix61.rte xlC.rte

Fileset Level State Description

---------------------------------------------------------------------------- Path: /usr/lib/objrepos

bos.adt.base 6.1.3.0 COMMITTED Base Application Development Toolkit

bos.adt.lib 6.1.2.0 COMMITTED Base Application Development Libraries

bos.adt.libm 6.1.3.0 COMMITTED Base Application Development Math Library

bos.perf.libperfstat 6.1.3.1 COMMITTED Performance Statistics Library Interface

bos.perf.perfstat 6.1.3.0 COMMITTED Performance Statistics Interface

bos.perf.proctools 6.1.3.0 COMMITTED Proc Filesystem Tools xlC.aix61.rte 10.1.0.2 COMMITTED XL C/C++ Runtime for AIX 6.1 xlC.rte 10.1.0.2 COMMITTED XL C/C++ Runtime

Path: /etc/objrepos

bos.adt.base 6.1.3.0 COMMITTED Base Application Development

11/45

神州数码（中国）有限公司/Digital China（China） Limited

Toolkit

bos.perf.libperfstat 6.1.3.1 COMMITTED Performance Statistics Library Interface

bos.perf.perfstat 6.1.3.0 COMMITTED Performance Statistics Interface

检查下列包是否安装

暂无

13. 配置oracle用户环境变量

例如：

修改oracle用户$HOME的.profile文件，增加如下内容：

export ORACLE_BASE=/oracle

export ORACLE_HOME=$ORACLE_BASE/product/11.1.0/db_1 export ORACLE_SID=sjck1

export ORA_CRS_HOME=$ORACLE_BASE/product/11.1.0/crs export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data export LIBPATH=$ORACLE_HOME/lib:/usr/lib:$ORACLE_HOME/lib32 export LD_LIBRARY_PATH=$ORACLE_HOME/lib export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK export AIXTHREAD_SCOPE=S export

PATH=$PATH:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/usr/bin:/etc:/usr/bin/X11:/usr/local/bin

umask 022

export LANG=en_US

14. 检查节点时间

# date

二． 基本安装步骤

把以下介质拷贝到aix服务器/soft目录下,解压介质进行安装

aix.ppc64_11gR1_clusterware.zip

aix.ppc64_11gR1_database_1013_1of2.zip aix.ppc64_11gR1_database_1013_2of2.zip

12/45

神州数码（中国）有限公司/Digital China（China） Limited

rootpre_aix.zip

unzip_aix.Z

第一解压压缩工具unzip_aix.Z,输出文件名为unzip_aix # uncompress unzip_aix.Z

拷贝unzip_aix到/usr/bin目录下

cd /use/bin

chmod 751 unzip_aix

unzip_aix aix.ppc64_11gR1_clusterware.zip

unzip_aix aix.ppc64_11gR1_database_1013_1of2.zip unzip_aix aix.ppc64_11gR1_database_1013_1of2.zip unzip_aix rootpre_aix.zip

首先以root用户运行rootpre.sh脚本,开启AIO 以oracle用户进行数据库的安装

第一步 安装clusterware

主要步骤如下： 解压软件

运行./runInstaller

13/45

神州数码（中国）有限公司/Digital China（China） Limited

1. 按照提示运行rootpre.sh(以root身份)，注意该

操作必须在两个节点运行

# ./rootpre.sh

./rootpre.sh

output

will

be

logged

in

/tmp/rootpre.out_07-03-15.11:01:09

Saving the original files in /etc/ora_save_07-03-15.11:01:09.... Copying new kernel extension to /etc.... Loading the kernel extension from /etc

Oracle Kernel Extension Loader for AIX

Copyright (c) 1998,1999 Oracle Corporation

Successfully loaded /etc/pw-syscall.64bit_kernel with kmid: 0x3f14e00

Successfully configured /etc/pw-syscall.64bit_kernel with kmid: 0x3f14e00

The kernel extension was successfuly loaded.

Configuring Asynchronous I/O....

14/45

神州数码（中国）有限公司/Digital China（China） Limited

Asynchronous I/O is already defined

Configuring POSIX Asynchronous I/O....

Checking if group services should be configured....

Please confirm your Oracle userid is a member of the group: hagsuser Configuring HACMP group services socket for possible use by Oracle.

2. 安装路径要与$ORACLE_HOME分开

3. 描述集群配置，增加节点信息

15/45

神州数码（中国）有限公司/Digital China（China） Limited

4. 在CLUSTER CONFIGUREATION屏幕输入

interconnect和vip地址

16/45

神州数码（中国）有限公司/Digital China（China） Limited

5. 输入OCR和VOTE路径

17/45

神州数码（中国）有限公司/Digital China（China） Limited

18/45

神州数码（中国）有限公司/Digital China（China） Limited

6. 运行orainstRoot.sh和root.sh，注意该操作必须

在两个节点运行，并且不能同时运行。

在第二个节点运行root.sh完毕后,再在运行OUI的节点使用root用户运行.vipca 7. 运行完毕root.sh ，点击OK。 8. exit。

第二步 安装数据库软件

主要步骤如下：

1、 ORACLE10g安装界面

19/45

神州数码（中国）有限公司/Digital China（China） Limited

2、 选择安装类型

20/45

神州数码（中国）有限公司/Digital China（China） Limited

3、 选择安装目的地

21/45

神州数码（中国）有限公司/Digital China（China） Limited

4、 指定集群安装

5、 确定安装环境是否满足要求

22/45

神州数码（中国）有限公司/Digital China（China） Limited

6、 选择是否创建数据库，我们一般都选择只安装软件，数据库后面单独创建。

7、 概要报告

23/45

神州数码（中国）有限公司/Digital China（China） Limited

8、 开始安装

9、 大约连接到98%时，提示执行root.sh（按提示，另开窗口执行root.sh）

24/45

神州数码（中国）有限公司/Digital China（China） Limited

10、运行完毕root.sh ，点击OK。 11、至此，数据库安装结束

第三步 CRS软件升级

1 以root身份登录，执行xhost + 2 停止 Oracle Clusterware: crsctl stop crs

3 在其余的节点上重复 1 和 2. 4 回到第一个节点，以oracle用户登录。. 5 在一个终端输入:

export ORACLE_HOME=/oracle/app/oracle/10.2.0/crs 6 进入到patch的目录: cd /oracle/app/setup/patch / ./runInstaller 然后

7 出现 Welcome界面.

Click Next.

8 在 Specify Home Details 界面, click Next. 注意：这里的路径为crs的HOME目录

25/45

神州数码（中国）有限公司/Digital China（China） Limited

9 在Hardware Cluster Installation Mode 界面, click Next. 10 在the Summary 界面, click Install.

11 NOTE: 安装完成以后不要点击exit推出。

12 再打开一个终端.

13 以 root 登录.

14 进入CRS_HOME,执行如下操作。

$ORA_CRS_HOME/install/root102.sh 结果如下：

26/45

神州数码（中国）有限公司/Digital China（China） Limited

15 在其他节点上按顺序重复12-14

16 在第一个节点上，点击exit推出安装。.

第四步 数据库软件升级

1、在第一个节点打开一个终端.

2、以oracle登录.

3、停止所有节点Oracle Clusterware node applications.

$ORACLE_HOME/bin/srvctl stop nodeapps -n NOTE: 如果有报错。忽略掉

4、可以在其他节点上重复3也可以在一个节点上改变nodename停止nodeapps. 5、在第一个节点上以oracle登录。打开一个终端 6、设置ORACLE_HOME:

export ORACLE_HOME=/oracle/app/oracle/product/10.2.0/db_1 7、然后启动补丁程序：

cd /oracle/app/oracle/setup/patch/ ./runInstaller

8、Welcome 界面出现.

9、点击Next.

10、在Specify Home Details 界面, 点击Next. 注意：这里的路径为数据库的HOME目录

27/45

神州数码（中国）有限公司/Digital China（China） Limited

11、在Specify Hardware Cluster Installation Mode 界面, 点击 Next.

28/45

神州数码（中国）有限公司/Digital China（China） Limited

12、在 the Summary 界面, 点击Install.

安装快完成时提示 run root.sh as user root.

29/45

神州数码（中国）有限公司/Digital China（China） Limited

13、打开一个终端. 14、执行:

/oracle/app/oracle/ product/10.2.0/db_1/root.sh 15、在其余的节点上按顺序重复13-14 16、执行完以后，点击 Exit推出.

17、然后在第一个节点上打开一个终端。 18、以oracle用户登录. 19、执行：

srvctl start nodeapps -n

20、如果一切正常，nodeapps都会online。

第五步 创建数据库

1. 规划数据库建在raw卷上

使用find命令得到裸设备的名称

# find /dev -user oracle -name 'rrac*' -print > db_raw.conf 然后编辑文件db_raw.conf

system=/dev/rrac_system01 sysaux=/dev/rrac_sysaux01

example=/dev/rrac_example_160m temp=/dev/rrac_temp01 users=/dev/rrac_user01

30/45

神州数码（中国）有限公司/Digital China（China） Limited

11. 创建服务窗口，我们选择默认的配置，没有进行新服务的配置

12. 设置关键的初始化参数：

36/45

神州数码（中国）有限公司/Digital China（China） Limited

37/45

神州数码（中国）有限公司/Digital China（China） Limited

13. 数据库选件

38/45

神州数码（中国）有限公司/Digital China（China） Limited

14. 设置相关文件存储属性：

15. 创建数据库：

39/45

神州数码（中国）有限公司/Digital China（China） Limited

16. 安装成功

40/45

本文来源：https://www.bwwdw.com/article/x8h3.html