RHEL7 - 11gR2 - RAC安装

更新时间：2023-10-02 17:15:01 阅读量：综合文库文档下载

说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。

rhel7推荐度：
相关推荐

ORACLE 11gR2 For RHEL7.1安装

1安装前须知.................................................................................................................................... 2

1.1 安装流程............................................................................................................................ 2 1.2 注意事项............................................................................................................................ 2 2安装规划........................................................................................................................................ 2

2.1规划目的............................................................................................................................. 2 2.2命名规划............................................................................................................................. 2

2.2.1节点命名规划 .......................................................................................................... 2 2.2.2双机集群命名规划 .................................................................................................. 3 2.3本地数据库双机方案 ......................................................................................................... 4 2.4网络IP规划 ....................................................................................................................... 4 2.5磁盘阵列及ASM规划 ....................................................................................................... 4 3检查和设置系统环境 .................................................................................................................... 6

3.1操作前须知 ......................................................................................................................... 6 3.2检查系统环境 ..................................................................................................................... 6 3.3设置系统环境 ..................................................................................................................... 7

3.3.1配置主机名 ............................................................................................................. 7 3.3.2禁用透明巨页 .......................................................................................................... 7 3.3.3关闭防火墙及安全增强SELINUX ........................................................................... 8 3.3.4配置缺省网关 ......................................................................................................... 8 3.3.5停用ntp时间服务 ................................................................................................. 8 3.3.6配置文件系统描述符 ............................................................................................. 9 3.3.7配置内核参数 ......................................................................................................... 9 3.3.8设置环境变量 .......................................................................................................... 9 3.3.9配置YUM ............................................................................................................... 11 3.3.10配置DNS域名解析 ............................................................................................. 12 3.3.11配置SSH .............................................................................................................. 17 3.3.12配置ISCSI（RAC测试平台配置共享存储） ..................................................... 18 3.3.13配置UDEV ........................................................................................................... 23 3.4配置RAC集群软件 .......................................................................................................... 25 4安装配置Oracle数据库 ............................................................................................................. 26

4.1数据库规划 ....................................................................................................................... 26 4.2安装前准备 ....................................................................................................................... 26 4.3GRID集群软件安装及配置............................................................................................... 26

4.3.1集群名称规划： .................................................................................................... 26 4.4安装数据库软件 ............................................................................................................... 37

4.4.1 RAC集群时间同步 ................................................................................................ 37 4.5创建Listener ..................................................................................................................... 63 4.6创建数据库实例 ............................................................................................................... 52

1 / 63

4.6.1使用ASMCA划分ASM卷组 ................................................................................ 49 4.6.2使用DBCA创建数据库实例 ................................................................................. 52 4.7配置Oracle数据库服务端 .............................................................................................. 63 5.FAQ ............................................................................................................................................... 63

介绍数据库系统的总体安装流程和安装前注意事项。1.1 安装流程

介绍系统的安装流程。

1.2 注意事项

介绍安装人员应仔细阅读和确认的事项。

2安装规划

2.1规划目的 2.2命名规划 2.2.1节点命名规划

介绍系统中的节点命名规划。

主机名（hostname）：node1.testt.cn（示例）域名：test.cn（示例）

DNS服务器：dnsserver（示例）

2 / 63

主备机节点命名规划：

主机的节点名称规划为node1。备机的节点名称规划为node2。 SCAN的虚拟IP 别名为rac-scan。

Oracle RAC 所需的虚拟IP 别名node1-vip、node2-vip。 Oracle RAC 所需的私网IP 别名node2-priv、node2-priv。

ISCSI存储私网IP 别名node1-iscsi、node2-iscsi （用于iscsi连接）。

2.2.2双机集群命名规划

在安装CRS 过程中，配置“Cluster Name 系统名称（湖南农卫信息系统）集群名称 hnnw hnnwcluster 以下使用DNS配置解析：

SCAN VIP: 192.168.2.201 rac-scan.test.cn SCAN VIP: 192.168.2.202 rac-scan.test.cn SCAN VIP: 192.168.2.203 rac-scan.test.cn

2.2.3磁盘资源划分命名规划

用途 OCR_VOTE（RAC集群使用） ORA_DATA1（数据文件） ORA_FLASH（数据恢复区） ORA_FLASH ORA_DISK2 ORA_DATA2（数据文件） ORA_DISK3 ORA_DISK4 ORA_ARCH1（归档与RMAN数据备份） ORA_ARCH2（归档与逻辑数据备份） ORA_ARCH2 4TB node2 xfs ORA_ARCH1 4TB RAID5 node1 xfs 500GB 1.7TB RAID5 1.7TB 1.7TB node1，node2 node1，node2 node1，node2 node1，node2 ORA_DISK1 1TB 磁盘 OCR_VOTE1 OCR_VOTE2 OCR_VOTE3 LUN大小 10GB 10GB 10GB RAID1+0 node1，node2 RAID类型访问主机（节点） node1，node2 node1，node2 node1，node2 文件系统 3 / 63

2.3本地数据库双机方案 2.4网络IP规划

/etc/hosts # Public

192.168.2.101 node1 node1.test.cn 192.168.2.102 node2 node2.test.cn

# Private Interconnect

10.10.10.11 node1-priv node1-priv.test.cn 10.10.10.12 node2-priv node1-priv.test.cn

#Virtual IP

192.168.2.104 node1-vip node1-vip.test.cn 192.168.2.105 node2-vip node1-vip.test.cn

#Scan Virtual IP

192.168.2.201 rac-scan rac-scan.test.cn 192.168.2.202 rac-scan rac-scan.test.cn 192.168.2.203 rac-scan rac-scan.test.cn

#DNS server

192.168.2.1 dnsserver dnsserver.test.cn

# Private Storage Network for ISCSI - 192.168.2.204 iscsi-server 10.10.20.100 iscsi-server-priv 10.10.20.101 node1-iscsi 10.10.20.102 node2-iscsi 如果网卡不够，就ISCSI就使用公有IP

2.5磁盘阵列及ASM规划

RHEL7系统安装规划：

16G内存，交换空间为24GB。

4 / 63

2.6用户规划

建立用户和组：

groupadd -g 1010 oinstall groupadd -g 1020 asmadmin groupadd -g 1021 asmdba groupadd -g 1031 dba groupadd -g 1022 asmoper

useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,dba grid useradd -u 1101 -g oinstall -G dba,asmdba oracle 分配目录及权限设置：

mkdir -p /u01/app/11.2.0/grid mkdir -p /u01/app/grid mkdir -p /u01/app/oracle chown -R grid:oinstall /u01

chown grid:oinstall /u01/app/11.2.0/grid chown grid:oinstall /u01/app/grid chown oracle:oinstall /u01/app/oracle chmod -R 775 /u01

5 / 63

3检查和设置系统环境

3.1操作前须知 3.2检查系统环境

3.2.1检查系统内存配置：

操作系统版本检查：cat /proc/version

检查系统架构：uname -m

检查内存：grep MemTotal /proc/meminfo 或使用free 检查交换空间:grep SwapTotal /proc/meminfo 或使用free 检查共享内存空间： df -h /dev/shm/

必须要确保共享内存大于ORACLE 中初始化参数MEMORY_MAX_TARGET 和MEMORY_TARGET(特别提示，这两个参数即自动内存管理特性对应的初始化参数)的值。 mount -t tmpfs shmfs -o size=16g /dev/shm 加入到文件/etc/fstab，系统重启了也生效。 shmfs /dev/shm tmpfs size=16g 0 检查临时目录空间:df -k /tmp 检查文件系统空间:df –h 显示VG卷组信息：vgdisplay 显示LV逻辑卷信息:lvdisplay

系统包的检查：rpm –qa|grep package_name 查询不同架构的RPM包版本：

rpm -qa --queryformat \

3.2.2 RHEL7安装Oracle11gR2版本要求操作系统包安装及配置:

make-3.82-21.el7

binutils-2.23.52.0.1-12.el7.x86_64 compat-libcap1-1.10-3.el7.x86_64 gcc-4.8.2-3.el7.x86_64 gcc-c++-4.8.2-3.el7.x86_64 glibc-2.17-36.el7.i686 glibc-2.17-36.el7.x86_64 glibc-devel-2.17-36.el7.i686 glibc-devel-2.17-36.el7.x86_64

6 / 63

glibc-common-2.17-78.el7 ksh

libaio-0.3.109-9.el7.i686 libaio-0.3.109-9.el7.x86_64 libaio-devel-0.3.109-9.el7.i686 libaio-devel-0.3.109-9.el7.x86_64 libgcc-4.8.2-3.el7.i686 libgcc-4.8.2-3.el7.x86_64 libstdc++-4.8.2-3.el7.i686 libstdc++-4.8.2-3.el7.x86_64 libstdc++-devel-4.8.2-3.el7.i686 libstdc++-devel-4.8.2-3.el7.x86_64 libXi-1.7.2-1.el7.i686 libXi-1.7.2-1.el7.x86_64 libXtst-1.2.2-1.el7.i686 libXtst-1.2.2-1.el7.x86_64 make-3.82-19.el7.x86_64 sysstat-10.1.5-1.el7.x86_64 elfutils-libelf(x86_64)-0.160-1.el7 elfutils-libelf-devel-0.160-1.el7.x86_64 compat-libstdc++-33(x86_64)-3.2.3 perl-Env-1.04-2.el7.noarch cpp-4.8.2-16.el7.x86_64

glibc-headers-2.17-55.el7.x86_64 expat-2.1.0-8.el7.x86_64 mpfr-3.1.1-4.el7.x86_64

安装 cvuqdisk包，文件在ORACLE安装盘/grid/rpm目录下rpm -iv cvuqdisk-1.0.9-1.rpm

3.3设置系统环境

3.3.1配置主机名

修改配置文件：/etc/hostname node1.test.cn

[root@node1 /]# hostname node1.test.cn node1.test.cn

3.3.2禁用透明巨页

Disabling Transparent HugePages

7 / 63

# cat /sys/kernel/mm/transparent_hugepage/enabled

Add the following entry to the kernel boot line in the /etc/grub.conf file: transparent_hugepage=never vi /etc/default/grub

GRUB_CMDLINE_LINUX=\transparent_hugepage=never\使修改生效：

grub2-mkconfig -o /boot/grub2/grub.cfg

上面的方法重启之后好像并没生效，可用以下方法：

或：Add the following lines in /etc/rc.local and reboot the server: if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

3.3.3关闭防火墙及安全增强SELINUX

selinux iptables关闭

RAC的内部通信还要用到net=169.254.0.0/16的IP，禁止防火墙和selinux # systemctl disable firewalld # systemctl stop firewalld

# 修改/etc/sysconfig/selinux确保SELINUX=disabled，然后执行setenforce 0或者reboot服务器以生效最小配置，将SElinux设置为PERMISSIVE模式： #setenforce 0 #getenforce

3.3.4配置缺省网关

route -n

route add default gw 192.168.2.1 route -n

3.3.5停用ntp时间服务

使用集群自带的ctss时间同步服务 systemctl is-enabled ntpdate.service systemctl disable ntpdate.service mv /etc/ntp.conf /etc/ntp.conf.original rm /var/run/ntpd.pid

8 / 63

3.3.6配置文件系统描述符

编辑文件/etc/security/limits.conf，加入以下条目： grid soft nproc 2047 grid hard nproc 16384 grid soft nofile 1024 grid hard nofile 65536 grid soft stack 10240 oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 oracle soft stack 10240

3.3.7配置内核参数

编辑文件/etc/sysctl.conf，加入以下条目： fs.aio-max-nr = 1048576 kernel.shmall = 2097152 physical RAM size / pagesize ，8GB物理内存设置为2097152

查看pagesize： $ getconf PAGE_SIZE 4096

kernel.shmmax = 805941248 （内存的1/2，11gR2要求内存1.5GB） kernel.shmmni = 4096

kernel.sem = 250 32000 100 128 #kernel.randomize_va_space = 0 #kernel.exec-shield=0

fs.file-max = 6815744 512 x processes (for example 6815744 for 13312 processes) net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 1048576

3.3.8设置环境变量

3.3.8.1设置pam_limits

验证最新版的PAM 已经被加载，如果不存在的话，在 /etc/pam.d/login 文件中添加如下内容：session required pam_limits.so

9 / 63

3.3.8.2设置ulimit

验证当前的ulimits，在/etc/profile添加如下内容是 if [ $USER = \ if [ $SHELL = \ ulimit -u 16384 ulimit -n 65536 else

ulimit -u 16384 -n 65536 fi fi

对于RAC应该按以下配置：

if [ /$USER = \ if [ /$SHELL = \ ulimit -p 16384 ulimit -n 65536 else

ulimit -u 16384 -n 65536 fi

umask 022 fi

3.3.8.3设置文件.bashrc

修改GRID及ORACLE用户HOME目录下的文件： $HOME/.bashrc 加入以下代码： if [ -t 0 ]; then stty intr ^C

3.3.8.4设置文件.bash_profile

$HOME/.bash_profile 加入以下代码： if [ -f ~/.bashrc ]; then . ~/.bashrc fi

10 / 63

# multipath -ll 会看到类似下面的信息：

mpath0 (360060e80058e980000008e9800000007) [size=20 GB][features=\\\_ round-robin 0 [prio=1][active] \\_ 3:0:0:7 sdaa 65:160 [active][ready] \\_ round-robin 0 [prio=1][enabled] \\_ 4:0:0:7 sdas 66:192 [active][ready] \\_ round-robin 0 [prio=1][enabled] \\_ 5:0:0:7 sdbk 67:224 [active][ready] \\_ round-robin 0 [prio=1][enabled] \\_ 2:0:0:7 sdi 8:128 [active][ready]

这说明，已由四条链路sdaa/sdas/sdbk/sdi复合成一条链路，设备名为mpath0。状态正常的话，把multipathd设置为自启动： # chkconfig multipathd on # mkdir /oradata

# mkfs.ext3 /dev/mapper/mpath0 # mkfs.ext3 /dev/mapper/mpath1 # blkid /dev/mapper/mpath0 生成该存储设备的UUID

# blkid /dev/mapper/mpath1 # vim /etc/fstab

(修改该配置文件并添加如下)

UUID=47931c90-140b-45fe-9dfa-5a0f56810db3 /oradata ext3 defaults 0 0 保存退出 # mount -a

注意：要使用哪块存储设备就在fastab里面挂载就可以了

使用mpath设备

用multipath生成映射后，会在/dev目录下产生多个指向同一条链路的设备： /dev/mapper/mpathn /dev/mpath/mpathn

21 / 63

/dev/dm-n

但它们的来源是完全不同的：

/dev/mapper/mpathn 是multipath虚拟出来的多路径设备，我们应该使用这个设备； /dev/mpath/mpathn 是udev设备管理器创建的，实际上就是指向下面的dm-n设备，仅为了方便，不能用来挂载；

/dev/dm-n 是软件内部自身使用的，不能被软件以外使用，不可挂载。

简单来说，就是我们应该使用/dev/mapper/下的设备符。对该设备即可用fdisk进行分区，或创建为pv。

分区或创建lvm

以前，我考虑到从系统iostat看到的都是dm-n的设备，所以一直都是直接对dm-n操作。但这会产生一个问题，就是没法分区。而对/dev/mapper/mpathn设备操作就没有这问题。只要要注意，用fdisk分区并保存后，必须刷新multipath的映射表，以便其创建分区对应的设备符，例如：

# fdisk -l /dev/mapper/mpath0

Disk /dev/mapper/mpath0: 214.7 GB, 214748364800 bytes 255 heads, 63 sectors/track, 26108 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System /dev/mapper/mpath0p1 1 26108 209712478+ 83 Linux # multipath -F # multipath -v0

#删除现有路径两个新的路径就会被删除 #格式化路径

# ll /dev/mapper/mpath0p1

brw-rw---- 1 root disk 253, 2 5月 7 07:40 /dev/mapper/mpath0p1 同样的，mpathn或其分区都可用来做pv使用： # pvcreate /dev/mapper/mpath0p1 # vgcreate test /dev/mapper/mpath0p1 # lvcreate -L 1g -n lv1 test

22 / 63

# lvdisplay

# mkfs.ext3 /dev/test/lv1

※ 注意：

根据网上的资料，有部分multipath版本存在与lvm兼容的问题。具体表现是，使用device-mapper设备创建lvm完成，重启后，虽然lvm仍存在，但/dev/mapper下的设备丢失。为了防止可能的意外，建议还是修改一下lvm的配置文件/etc/lvm/lvm.conf，加入： types=[\

其他

最简单的测试方法，是用dd往磁盘读写数据，然后用iostat观察各通道的流量和状态，以判断Failover失效转移或负载均衡方式是否正常： # dd if=/dev/zero of=/dev/mapper/mpath0 # iostat -k 2

另外，如果是在由多台服务器构建集群环境中，为了让每台服务器识别的mpathn设备顺序一致，需进行wwid的绑定工作，请参考后面“自定义设备名称”中的内容。

3.3.14配置UDEV

绑定ASM磁盘

for i in b c d e do

echo \--replace-whitespace --device=/dev/\\$name\\\--replace-whitespace --device=/dev/sd$i`\\\GROUP=\\\ done

Make SCSI Devices Trusted

Add the following to the \doesn't already exist. options=-g

23 / 63

cat /etc/udev/rules.d/99-oracle-asmdevices.rules

KERNEL==\

--replace-whitespace --device=/dev/$name\SYMLINK+=\

KERNEL==\

--replace-whitespace --device=/dev/$name\SYMLINK+=\

KERNEL==\

--replace-whitespace --device=/dev/$name\SYMLINK+=\

KERNEL==\--replace-whitespace --device=/dev/$name\SYMLINK+=\

修改脚本文件99-oracle-asmdevices.rules，修改为2个节点一致的标识，将asm-diskb…asmdiskh修改为以下对应的标识：asm-ocr_vote1,asm-ocr_vote2,asm-ocr_vote3,asm-oradata1,asm-oradat2 asm-oraflash1,asm-oraflash2

使kernel重新读取磁盘信息：

Load Updated Block Device Partitions (/sbin/partprobe) /sbin/partprobe /dev/sdb /sbin/partprobe /dev/sdc /sbin/partprobe /dev/sdd /sbin/partprobe /dev/sde

udevadm test /sys/block/sdb udevadm test /sys/block/sdc udevadm test /sys/block/sdd udevadm test /sys/block/sde

查询服务：

systemctl status systemd-udevd.service

# #RHEL7 Restart UDEV Service udevadm control --reload-rules 查看udevl加载状态：

systemctl status systemd-udevd -l 查询块设备信息：

udevadm info --query=all --path=/sys/block/sdb udevadm info --query=all --name=asm-diskb

检查权限是否正确： # cd /dev

24 / 63

# ls -al /dev/asm-disk* # ls -la /dev/sd* 修改权限：

chown -h grid:asmadmin asm*

多路径配置：

[root@node2 rules.d]# more 12-dm-permissions.rules