Linux集群实施手册V2.0(20130617) - new

RHCS 集群规范

RHCS集群参考

说明：本规范适用于有3个月以上Linux工作经验的人员。安装版本基于Red Hat Enterprise Edition 6 。

上海宝信软件股份有限公司

系统服务事业部

RHCS 集群规范

变更记录 序号 1 编写

内容 时间 2013-06-17 RHCS 集群规范

目录

一. 二.

集群规划信息表 ................................................................................................................... 4 安装过程 ............................................................................................................................... 4 1. 集群软件安装 ................................................................................................................... 4 2. 安装确认 ........................................................................................................................... 6 三. 集群配置 ............................................................................................................................... 7

1. Cluster 配置 ..................................................................................................................... 7 2. 集群启动 ......................................................................................................................... 22 3. 集群监控 ......................................................................................................................... 23 四. 集群测试 ............................................................................................................................. 24

RHCS 集群规范

一. 集群规划信息表

集群规划信息表，是我们集群实施的依据。我们根据表格提供的信息就能准确的实施符合要求的集群。以下是表格范例： Cluster Name: SSFWEB01 Cluster Nodes Name SSFSRV1 Heartbeat/service LAN（eth0） 10.70.220.100 Fencing Device Name: Login: Password: Service1 Name SvcBBS IP Resource: 10.70.220.102 Scripts Name ScBBS Resource File（with path） /etc/cluster/scripts/bbsApache.sh File system Resource Name FsBBS File System Type ext4 Mount point /bbs Device /dev/sdb1 Service2 Name SvcWWW IP Resource: 10.70.220.103 Scripts Name ScWWW Resource File（with path） /etc/cluster/scripts/wwwApache.sh File system Resource Name FsWWW File System Type ext4 Mount point /www Device /dev/sdc1 Failover Domain: Name DmWWW Members SSFSRV1、SSFSRV2 Failover Domain: Name DmBBS Members SSFSRV1、SSFSRV2 FncSSF1 Admin passwd Node 1 SSFSRV2 10.70.220.101 Name: Login: Password: Hostname: FncSSF2 Admin passwd 10.25.76.12 Node 2 Hostname: 10.25.76.11 二. 安装过程

1. 集群软件安装

本文基于Redhat Enterprise 6 Update 4。安装RHCS6系统，您可以请先参考《Linux

RHCS 集群规范

安装实施规范》，安装完毕Linux。在此安装好的系统上做升级，以支持集群。当然也可以一次性安装好，在选择安装软件包时候，请注意选择群集存储-》群集存储和集群-》集群软件包即可。

我们下面讲一下升级步骤

1、将DVD光盘挂载到目录 /media上

2、修改/etc/yum.repos.d/xxx.repo 注：xxx.repo为本机yum源配配置文件。 内容为： [net]

name=net

baseurl=http://10.70.220.203/iso/rhel64/ enabled=1 gpgcheck=0

[HighAvailability]

name=HighAvailability

baseurl=http://10.70.220.203/iso/rhel64/HighAvailability enabled=1 gpgcheck=0 [LoadBalancer]

name=LoadBalancer

baseurl=http://10.70.220.203/iso/rhel64/LoadBalancer enabled=1 gpgcheck=0

[ScalableFileSystem] name=LoadBalancer

baseurl=http://10.70.220.203/iso/rhel64/ScalableFileSystem enabled=1 gpgcheck=0

[ResilientStorage]

name=ResilientStorage

baseurl=http://10.70.220.203/iso/rhel64/ResilientStorage enabled=1 gpgcheck=0

4、修改完毕后 yum makecache

yum groupinstall \

RHEL6以后仅支持WEB配置管理集群。 在管理节点请安装管理组件

yum groupinstall \

RHCS 集群规范

2. 安装确认

1、 安装Red Hat Enterprise Linux 6 Advanced Platform update 4（简称RHEL 6U4）红帽

操作系统。安装网卡驱动程序，配置本地网络IP地址，（公用浮动IP网卡做绑定，采用主从模式）。安装HBA光线卡多路径驱动。

2、 各节点采用ntp服务保持时间一致性。

设置ntpd服务为自启动。

客户端配置为修改/etc/ntp.conf。 全部内容为：server NTPServerIP

如果能访问互联网，内容请设置为：server 210.72.145.44 如果不能访问互联网，请同步内网NTP服务器。 检查状态：

3、 关闭不需要的服务

chkconfig kudzu off chkconfig sendmail off chkconfig nfs off chkconfig smartd off chkconfig cups off chkconfig rhnsd off

chkconfig iptables off chkconfig autofs off chkconfig acpid off chkconfig apmd off

chkconfig libvirt-guests off ---下面这个需要再研究

chkconfig NetworkManager off

注意：运行命令后，请重启主机

4、 RHEL 6U4 AP已经包含RHCS 6U4集群软件。安装完成后先将以下服务的自动启动

关闭，

chkconfig cman off

chkconfig rgmanager off chkconfig ricci off chkconfig luci off

5、 分别配置2台服务器的节点IP地址。

NodeA 10.25.76.170 NodeB 10.25.76.172

RHCS 集群规范

6、 Fence Device地址。以IBM Remote Supervisor Adapter II （简称RSA II）管理卡为

例，设置IP地址、用户名和密码；配置本机网络IP地址使用WEB界面手工重启2台主机，测试RSA II性能。 FncSSF1 10.25.76.11 FncSSF2 10.25.76.12

用户名 admin （字母全部大写）

密码 password （字母全部大写，其中“0”是数字0）

编辑/etc/hosts 文件，将主机名与IP地址对应。

127.0.0.1 localhost.localdomain localhost 192.168.111.200 NodeA 10.25.76.11 FncSSF1 192.168.111.201 NodeA 10.25.76.12 FncSSF2

7、 检查各节点/etc/passwd中新增用的sid，gid应该保持一致。

#more /etc/passwd 修改ricci密码 #passwd ricci

注意记住ricci密码，后面添集群加节点时候需要

三. 集群配置

1. Cluster 配置

1. 启动luci

[root@store ~]# service luci start Luci 启劢成功

2. 浏览器登陆

https://xxx.xxx.xxx.xxx:8084

用户为系统用户root，密码为root的密码，即可以登录。

RHCS 集群规范

3. 显示配置集群名称界面，输入集群的名字“SSFWEB01”；

注意——在同一个局域网里，如果有多个集群，每个集群的名字必须不一样，否则会造成集群混乱！！

选择Manage Clusters，再点击Create；

输入各节点IP、ricci的密码

注意：上面的密码 是 ricci的密码

集群节点添加完成

RHCS 集群规范

RHCS 集群规范

4. 点击Fence Devices，再点击“Add”

这里我们仅演示IPMI Lan，注意Authentication Type及Use Lanplus需要根据实际情况处理。IBM 的远程管理模块需要指定Authentication Type为Password，HP的iLO需要使用Use Lanplus。

5. 点击“Nodes”

RHCS 集群规范

点检10.70.220.100

6. 点击“Add a Fence Method”

Submit后，点检“Add Fence Instance”

选择该主机定义的Fence设备。

RHCS 集群规范

7. 同样设置第二个节点Fence设备。 8. 补充VMWARE的虚拟FENCE设备

类型是VMWare Fencing(SOAP Interface),IP,ROOT是ESXI的。

添加时

需要填UUID，

[root@zzc1 ~]# fence_vmware_soap -a 10.25.37.95 -z -l root -p root1234 -o list zzc1,564d8285-9dc1-0667-7013-d2f4917a99ab zzc2,564ddd3a-8739-ba77-c658-fbc1dd01a4ff wasnode1,564d9adc-80de-98bc-f759-a907e0e6c653 wasnode2,564d2a78-a472-4462-b6db-6ebe12a4c8ed 这行命令行的效果是列出ESXi平台的所有集群结点的UUID

若要查看FENCE设备状态如下：

[root@zzc1 ~]# fence_vmware_soap -a 10.25.37.95 -z -l root -p root1234 -n zzc1 -o status Status: ON [root@zzc1 ~]#

FENCE设备测试，当集群配置完成后，可以使用ifdown 来测试设备。

RHCS 集群规范

Ifdown eth0 以后，主机确实重启了，如图。说明虚拟的FENCE设备是成功的。

RHCS 集群规范

9. 点击“Failover Domains”。再点击“Add”。

10. 同样方法我们添加DmWWW Failover Domain。 增加“DmBBS”、“DmWWW”完成；

11. 添加资源“Resources”，当前显示未添加资源的状态，点击“Add”，在资源类型列表里

选择合适的资源类型。RHCS 6 共支持23种资源；一个典型的服务基本上有3类资源：IP资源，脚本资源，文件系统。

RHCS 集群规范

RHCS 集群规范

12. 公共浮动IP地址，输入IP“10.70.220.102” ，勾选“Monitor Link”框；同样方式添加

10.70.220.103，注意掩码255.255.255.0对于的是24，这里需要填写24。

13. script脚本，常见资源之一，首先添加脚本“ScWWW”，路径

“/etc/cluster/scripts/wwwApache.sh”；

注意－－服务脚本必须指定绝对路径，建议把脚本都复制到/etc/cluster/scripts 目录下。同样方式添加脚本，Name“ScBBS”，路径“/etc/cluster/scripts/bbsApache.sh”

RHCS 集群规范

14. 文件系统，常见的资源之一，支持的选项和参数较多。

Name“FsBBS”，

File System Type“ext4”； Mount Point“/bbs”，

Device“/dev/sdb1”，支持卷标模式，

Options“”，支持参数“noauto、nodev、noexec、nosuid、nouser、ro、rw、suid、sync”等，

File System ID“”，第一次创建文件系统不需要添加，系统会自动生成ID， 选择“Force unmount”，

选择“Reboot host node if unmount fails”,

一般不选择“Check file system before mounting”，如果选择该选项，每次检查文件系统可能会花费很长时间，造成集群启动时间延长； 同样方式添加“FsWWW”。

这里多说下，VMWare中配置共享盘，当没有外置存储时，想只在虚拟机划一块盘模拟阵列共享时，可以如下配置： ? SCSI设备设置成虚拟

RHCS 集群规范

?

配置硬盘时注意，必须是“后置备置零”。

添加完成后，在LINUX里面直接可以认出或者重启。后面划分分区建立VG的说明请参考相关资料。

RHCS 集群规范

在此列举一个”apache”类型资源。

在确认已经安装了apache以后，需要安装操作系统时框选。

只需加个名字。当服务正常启动后，会在/etc/cluster目录下生成apache目录。开机不默认启动httpd服务。

RHCS 集群规范

15. 所有资源添加完成；

16. 点击Services Group；点击“Add” ，在弹出框中输入Service Group Name“SvcBBS”，

建议名称尽量简单，尽量不用特殊字符或大写，方便通过手工clusvcadmin命令方式切换服务；选择“Failover Domain”为DmBBS，选择“Recovery policy”为Relocate。

17. 点击“Add Resource” ，选择之前添加的IP资源10.70.220.102;

RHCS 集群规范

点击“Add Child Resource”选择FsBBS， 再点击最下面的“Add Child Resource”选择ScBBS 注意必须按照以上顺序添加资源。

18. 同样方式添加ScvWWW服务； 19. 启动服务

勾选“SvcBBS”，在点击“Start”。

将服务迁移到另外的节点

RHCS 集群规范

注意：如果服务测试建议是先只添加IP资源，添加完IP资源测试服务是否可用，如果服务启动失败，请尝试着集群节点分别运行命令，/etc/init.d/rgmanager restart 。运行完毕后再次尝试启动服务。 在IP资源启动成功后，做服务迁移测试，测试完成后，再添加服务需要的其他资源。

20. 注意--请不要随意手工修改/etc/cluster/cluster.conf文件，错误的修改集群配置会导致

集群无法启动！！

2. 集群启动

1. 启动Cluster服务，在2个节点同时启动以下服务，注意先后顺序。注意－－两个节点的

时间相差不能超过30秒，否则会造成集群fence状态失败！！ service cman start service rgmanager start

将两个服务分别启动到不同节点，SvcBBS在接到SSFSRV1启动，SvcWWW在接到SSFSRV2启动。

[NODE1][root][/etc/cluster]#clusvcadm -e SvcBBS -m SSFSRV1 Member SSFSRV1 trying to enable service:SvcBBS...Success service:SvcBBS is now running on SSFSRV1

[NODE1][root][/etc/cluster]#clusvcadm -e SvcWWW -m SSFSRV2 Member SSFSRV2 trying to enable service:SvcWWW...Success service:SvcWWW is now running on SSFSRV2

2. 停止Cluster服务，在2个节点同时停止以下服务，注意先后顺序。

service rgmanager stop service cman stop

3. 在启动和停止cluster服务的过程中，如果全部服务都显示ok，表示cluster配置和启动

成功；如果有显示fail，请查看/var/log/messages文件，分析失败信息，解决配置错误的部分。直到所有服务启动都显示ok。

RHCS 集群规范

3. 集群监控

1. Red hat Cluster图形化监控和管理界面

system-config-cluster ，图形化管理界面约5秒钟刷新一次；

2. Red hat Cluster监控命令

clustat –i 2 （每隔2秒钟刷新cluster状态）

3. Red hat Cluster 命令行切换服务

clusvcadmin - r SvcBBS（将SvcBBS服务从当前节点转移到另一个节点上运行）

4. 查看cman信息

cman_tool status

5. IBM RSA II 设备 手工fence命令

fence_rsa -a -l -p -o -a IP address IP地址或主机名 -l loginname 登录名 -p password 密码

-o action 动作，可用reboot (default), off, on, or status

6. HP iLo 设备手工fence命令

fence_ilo -a -l -p -o -a IP address IP地址或主机名 -l loginname 登录名 -p password 密码

-o action 动作，可用reboot (default), off, on, or status

7. IPMI Lan 设备手工fence命令

启用IPMI Lan service ipmi restart chkconfig ipmi on

ipmitool lan set 1 access on ipmitool -H -U -P chassis power -H IP address IP地址 -U username 登录名 -P password 密码

Chassis 命令 status, power, identify, policy, restart_cause, poh, bootdev chassis power 命令 status, on, off, cycle, reset, diag, soft

RHCS 集群规范

四. 集群测试

假定集群环境：

两节点，两服务互为主备。节点A运行服务A，节点B运行服务B。 场景 集群正常情况下，拔掉节点A网线 预期 服务A迁移到节点B。插回节点A网线，节点A加入集群，服务A的迁移需要手动运行命令。 clusvcadm -r SvcA -m NodeA 集群正常情况下，拔掉节点B网线 服务B迁移到节点A。插回节点B网线，节点B加入集群，服务B的迁移需要手动运行命令。 clusvcadm -r SvcB -m NodeB 集群正常情况下，reboot节点A 服务A迁移到节点B。节点A恢复后，集群软件和服务A的转移都需要手动运行命令。 service cman start service rgmanager start clusvcadm -r SvcA -m NodeA 集群正常情况下，reboot节点B 服务B迁移到节点A。节点B恢复后，集群软件和服务B的转移都需要手动运行命令。 service cman start service rgmanager start clusvcadm -r SvcB -m NodeB 集群正常情况下，拔掉节点A电源 服务A迁移到节点B。节点A恢复后，集群软件和服务A的转移都需要手动运行命令。 service cman start service rgmanager start clusvcadm -r SvcA -m NodeA 集群正常情况下，拔掉节点B电源 服务B迁移到节点A。节点B恢复后，集群软件和服务B的转移都需要手动运行命令。 service cman start service rgmanager start clusvcadm -r SvcB -m NodeB

实际

本文来源：https://www.bwwdw.com/article/uci.html