Linux系统存储维护指导手册

Linux操作系统存储技术指导手册(For HDS

Storage)

SLES 环境下使用HDS SAN存储技术指导手册

目 录

一.

使用前的环境检查 ............................................................................................. 3 1.1 操作系统环境检查............................................................................................. 3 1.1.1 操作系统版本.............................................................................................. 3 1.1.2 检查HBA卡安装和参数配置 ................................................................... 3 1.2 检查HDLM版本情况 ....................................................................................... 4 1.3 检查当前LUN识别情况 .................................................................................. 5 1.4 检查非HDS磁盘情况....................................................................................... 5 1.5 检查VG及LV的情况 ...................................................................................... 5 二.

通用模块 ............................................................................................................. 7

2.1 磁盘识别............................................................................................................. 7 三.

创建/扩容文件系统 ............................................................................................ 7

3.1 执行dlmcfgmgr命令并创建分区 ..................................................................... 7 3.2 创建文件系统..................................................................................................... 8 3.3 扩容文件系统，使用该步骤............................................................................. 8 4创建/扩容数据库ASM盘 ................................................................................. 9 4.1 创建ASM磁盘组 .............................................................................................. 9 4.1.1添加磁盘，生成设备别名........................................................................... 9 五.

从现有环境中回收存储 ................................................................................... 13

5.1 保留数据的回收文件系统............................................................................... 13 5.2 不保留数据的回收LUN ................................................................................. 13 5.3 ASM环境中回收存储 ...................................................................................... 14 六.

文件系统迁移（非磁盘复制） ....................................................................... 15

6.1 删除原服务器文件系统................................................................................... 15 6.2 识别新服务器文件系统................................................................................... 15 七.

ASM盘全量迁移（非磁盘复制） ................................................................. 15

7.1 回收原服务器ASM盘 .................................................................................... 15 7.2 新服务器识别并新增ASM盘 ........................................................................ 16

SLES 环境下使用HDS SAN存储技术指导手册

一. 使用前的环境检查

1.1 操作系统环境检查 1.1.1 操作系统版本

1）确认操作系统版本： # cat /etc/SuSE-release SUSE Linux Enterprise Server 10 (x86_64) VERSION = 10 PATCHLEVEL = 4 或： SUSE Linux Enterprise Server 11 (x86_64) VERSION = 11 PATCHLEVEL = 2 1.1.2 检查HBA卡安装和参数配置

1）确认HBA卡硬件安装情况：

# lspci -nn | grep \ 06:00.0 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03) 06:00.1 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03) 82:00.0 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03) 82:00.1 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03) 2）使用以下命令确定每块HBA卡是否正常驱动： # ll /sys/class/fc_host lrwxrwxrwx 1 root root 0 Jul 16 07:41 host10 -> ../../devices/pci0000:80/0000:80:01.0/0000:82:00.1/host10/fc_host/host10 lrwxrwxrwx 1 root root 0 Jul 16 07:41 host7 -> ../../devices/pci0000:00/0000:00:01.0/0000:06:00.0/host7/fc_host/host7 lrwxrwxrwx 1 root root 0 Jul 16 07:41 host8 -> ../../devices/pci0000:00/0000:00:01.0/0000:06:00.1/host8/fc_host/host8 lrwxrwxrwx 1 root root 0 Jul 16 07:41 host9 -> ../../devices/pci0000:80/0000:80:01.0/0000:82:00.0/host9/fc_host/host9 3）使用以下命令确定具体的HBA卡型号：

3

SLES 环境下使用HDS SAN存储技术指导手册

# more /sys/class/scsi_host/hostN/modeldesc 4）使用以下命令确定具体的HBA驱动版本： # more /sys/class/scsi_host/hostN/lpfc_drvr_version 5）使用以下命令确定具体的HBA支持的最大LUN数量： # more /sys/class/scsi_host/hostN/lpfc_max_luns

6）使用以下命令确定具体的HBA的Queue Depth和LUN的Queue Depth： # more /sys/class/scsi_host/hostN/lpfc_hba_queue_depth # more /sys/class/scsi_host/hostN/lpfc_lun_queue_depth 1.2 检查HDLM版本情况

1）执行以下命令：

# /opt/D*/bin/dlnkmgr view -sys

HDLM Version : 7.6.0-00 Service Pack Version :

Load Balance : on(extended lio) Support Cluster : Elog Level : 3 Elog File Size (KB) : 9900 Number Of Elog Files : 2 Trace Level : 0 Trace File Size (KB) : 1000 Number Of Trace Files : 4

Path Health Checking : on(30) Auto Failback : on(1) Reservation Status : Intermittent Error Monitor : off

Dynamic I/O Path Control : off(10) HDLM Manager Ver WakeupTime

Alive 7.6.0-00 2014/05/16 23:31:48

HDLM Alert Driver Ver WakeupTime ElogMem Size Alive 7.6.0-00 2014/05/16 23:31:40 1000 HDLM Driver Ver WakeupTime

Alive 7.6.0-00 2014/05/16 23:31:40 License Type Expiration Permanent -

KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2014/07/21 15:30:07

注意检查HDLM版本与OS版本、OS内核版本、HBA卡型号驱动的兼容

4

SLES 环境下使用HDS SAN存储技术指导手册

性，同时注意HDLM的参数设置满足总行相关规范。

1.3 检查当前LUN识别情况

1）使用lscsi命令检查当前识别的SCSI设备情况： # lsscsi [7:0:0:9] disk HITACHI OPEN-V 7006 /dev/sdj [7:0:0:10] disk HITACHI OPEN-V 7006 /dev/sdk [7:0:0:11] disk HITACHI OPEN-V 7006 /dev/sdl [8:0:0:0] disk HITACHI OPEN-V 7006 /dev/sdm [8:0:0:1] disk HITACHI OPEN-V 7006 /dev/sdn [8:0:0:2] disk HITACHI OPEN-V 7006 /dev/sdo [8:0:0:3] disk HITACHI OPEN-V 7006 /dev/sdp 四个数字a:b:c:d分别代表： a：Host ID (host port number) b：Channel number (bus number) c：Target ID d：Lun (host LU number) 2）使用以下命令检查HDLM管理设备与系统SCSI设备之间的对应关系： # /opt/DynamicLinkManager/bin/dlnkmgr view -lu -c -item 1.4 检查非HDS磁盘情况

1）使用以下命令检查非HDS磁盘情况：

# lsscsi | grep -v HITACHI 考虑到不同厂家的多路径软件之间可能存在不兼容的情况，HDS不推荐同一服务器同时连接不同厂家的磁盘机。

1.5 检查VG及LV的情况

1）确定系统VG的列表： # vgs VG #PV #LV #SN Attr VSize VFree dbmsvg 3 2 0 wz--n- 111.62g 11.62g system 1 9 0 wz--n- 278.00g 181.00g 2）显示VG的详细信息： # vgdisplay -v /dev/dbmsvg --- Volume group --- VG Name dbmsvg System ID Format lvm2 5

SLES 环境下使用HDS SAN存储技术指导手册

Metadata Areas 3 Metadata Sequence No 3

VG Access read/write VG Status resizable MAX LV 0 Cur LV 2 Open LV 2 Max PV 0 Cur PV 3 Act PV 3

VG Size 111.62 GiB PE Size 4.00 MiB Total PE 28575

Alloc PE / Size 25600 / 100.00 GiB Free PE / Size 2975 / 11.62 GiB

VG UUID 13v6Fp-3D9H-JLuK-8e5j-6ywS-1cw1-NXqUs4

--- Logical volume ---

LV Name /dev/dbmsvg/dbms_lv VG Name dbmsvg

LV UUID cDNcoU-pPMU-wQad-MrCf-nztX-2awe-KQ2pAx LV Write Access read/write LV Status available # open 1

LV Size 50.00 GiB Current LE 12800 Segments 2 Allocation inherit Read ahead sectors auto - currently set to 1024 Block device 253:9

--- Logical volume ---

LV Name /dev/dbmsvg/grid_lv VG Name dbmsvg

LV UUID QN8g5E-LMlI-XX2W-vlK0-Z0XV-wcfe-YRK1zR LV Write Access read/write LV Status available # open 1

LV Size 50.00 GiB Current LE 12800 Segments 2 Allocation inherit Read ahead sectors auto - currently set to 1024

Block device 253:10

6

SLES 环境下使用HDS SAN存储技术指导手册

--- Physical volumes --- PV Name /dev/disk/by-id/scsi-360060e8016649b000001649b0000080a PV UUID cnJUAM-oKml-0LvC-iaVF-lFMz-YFqN-3bhwbS PV Status allocatable Total PE / Free PE 9525 / 0

PV Name /dev/disk/by-id/scsi-360060e8016649b000001649b0000080c PV UUID sfjBTl-kUSW-vYj0-D2sW-xp12-cCUX-etc5Lj PV Status allocatable Total PE / Free PE 9525 / 2975

PV Name /dev/disk/by-id/scsi-360060e8016649b000001649b0000080e PV UUID shOuwc-f9WQ-EpH5-t1Gq-HPCh-45Lq-MF4wQO PV Status allocatable Total PE / Free PE 9525 / 0

二. 通用模块

2.1 磁盘识别

1）针对系统的hostN，执行以下操作： # echo \

2）如未识别磁盘，尝试使用如下方法： # echo \# echo \

三. 创建/扩容文件系统

3.1 执行dlmcfgmgr命令并创建分区

多路径聚合：dlmcfgmgr -r 多路径检查：dlmcfgmgr -v 创建分区 #!/bin/bash 7

SLES 环境下使用HDS SAN存储技术指导手册

fdisk $1<

1）新建pv：pvcreate

2）新建vg：vgcreate … 3）新建lv：lvcreate –n -L

4）新建filesystems：mkfs.ext3 ，按照2014年行内规范使用ext3格式文件系统

5）创建文件系统目录：mkdir –p #pvcreate /dev/sddlmaa1 /dev/addlmab1 ..... #vgcreate dbmsvg /dev/sddlmaa1 /dev/sddlmab1 .... #lvcreate -n dbms_lv -L 49G dbmsvg #mkfs.ext3 /dev/dbmsvg/dbms_lv #mkdir -p /oracleser/app11203 6）修改/etc/fstab文件，添加诸如下内容：

# vi /etc/fstab 添加如下类似行 /dev/dbmsvg/dbms_lv（lv所在路径） /oragrid（文件系统） ext3 acl,user_xattr 1 2 7）mount文件系统并修改属主： #mount /oragird #chown oracle:dba /oragrid 3.3 扩容文件系统，使用该步骤

1）扩容vg大小：vgextend 范例：vgextend datavg /dev/sddlmma1 2）扩容lv大小：lvextend -L +size 范例：lvextend -L +20G /dev/datavg/data_lv 3）调整文件系统大小：resize2fs 范例：resize2fs /dev/datavg/data_lv 8

SLES 环境下使用HDS SAN存储技术指导手册

4创建/扩容数据库ASM盘 4.1 创建ASM磁盘组

对于HDS存储，由于HDLM 7.6及以上版本具有可固定设备名的特性，因此针对Suse 10、Suse 11不同的操作系统版本，HDLM的版本不同，存储配置方法也不同。

4.1.1添加磁盘，生成设备别名

Suse 10

1）添加磁盘之前，保存各节点的LUN号与磁盘设备名的对应关系，并备份udev文件。以root用户在RAC各节点执行以下命令，并保存执行结果： # cp /etc/udev/rules.d/99-oracle-asmdevices.rules /etc/udev/rules.d/99-oracle-asmdevices.rules.bak 2）添加磁盘可能需要重启操作系统，重启之前需要先停止集群，重启之后可能导致设备名混乱，若设备名发生混乱并集群已自启动，需要先停止集群。待完成设备别名调整后再启动集群。

3）查询扩容后的各节点的磁盘LUN号同设备名的对应关系，并保存结果。 # /opt/DynamicLinkManager/bin/dlnkmgr view -lu 4）确认新增磁盘，并将用于ASM管理的磁盘进行分区（仅在单个节点执行即可），以/dev/sddlmaa为例。以root用户在任一节点执行以下操作： fdisk /dev/sddlmaa Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 1 First sector (61-1048575, default 61): 默认 Last sector or +size or +sizeM or +sizeK (2048-1048575, default 1048575): 默认 9

SLES 环境下使用HDS SAN存储技术指导手册

Using default value 1048575 Command (m for help): w The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. 或使用脚本方式创建磁盘分区

创建分区 #!/bin/bash fdisk $1<

10

SLES 环境下使用HDS SAN存储技术指导手册

# ls -la /dev/ASM* brw-rw---- 1 grid dba 251, 1 May 28 21:42 /dev/ASMDAT1 brw-rw---- 1 grid dba 251, 17 May 28 21:42 /dev/ASMDAT2 brw-rw---- 1 grid dba 251, 33 May 28 21:42 /dev/ASMLOG1 brw-rw---- 1 grid dba 251, 49 May 28 21:42 /dev/ASMLOG2 注意：若未创建成功，则执行reboot使其生效。

Suse 11

1）添加磁盘，确认磁盘添加成功

2）对各个共享磁盘进行分区（仅在单个节点执行即可），参照suse分区方法 3）使用cat /proc/partitions查看RAC各节点的新增磁盘及分区是否在分区表配置文件中，如果不存在，使用/usr/sbin/partprobe更新分区表： # cat /proc/partitions 250 112 104857600 sddlmah 250 113 104857600 sddlmah1 # /usr/sbin/partprobe 4）获取需要映射为ASM Disk的磁盘SCSI_ID，并将新增磁盘添加至udev rules文件：

a) 获取磁盘SCSI_ID（仅单节点执行即可）

# /lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/sddlmah1 360060e801047222004f2c5d2000003fc b) 编辑udev rules（仅单节点执行即可，其它节点可直接拷贝）

# vi /etc/udev/rules.d/99-oracle-asmdevices.rules KERNEL==\SUBSYSTEM==\PROGRAM==\--whitelisted --replace-whitespace --device=/dev/$name\RESULT==\NAME=\脚本生成udev rules的内容，并将其添加至udev文件。

vi udevcontent.sh #!/bin/ksh for i in h do echo \SUBSYSTEM==\\\PROGRAM==\\\--whitelisted --replace-whitespace --device=/dev/\\$name\\\RESULT==\\\--whitelisted --replace-whitespace --device=/dev/sddlma$i`\\\NAME=\\\OWNER=\\\11

SLES 环境下使用HDS SAN存储技术指导手册

done 执行结果示例如下：

# sh udevcontent.sh KERNEL==\SUBSYSTEM==\PROGRAM==\--whitelisted --replace-whitespace --device=/dev/$name\RESULT==\NAME=\c) 将节点1的udev rules文件直接拷贝至其它节点（如节点2）。

用udevadm进行测试，udevadm命令不接受/dev/sddlmaa1或/dev/sda1这样的挂载设备名，必须是使用/sys/block/sddlmaa/sddlmaa1或/sys/block/sda/sda1这样的原始设备名。或者，如果磁盘较多，也可以直接使用/usr/sbin/partprobe生成设备别名。

# udevadm test /sys/block/sddlmah/sddlmah1 或：

# /usr/sbin/partprobe 其中，如果udevadm输出结果中的DEVNAME指向设备别名，如DEVNAME=/dev/ASMDATn，则表示udev映射成功；若仍指向原设备名，则表示udev映射失败。

udevadm_test: UDEV_LOG=6 udevadm_test: DEVPATH=/devices/up_primary/up_adapter/host4/target4:0:0/4:0:0:4/block/sdn/sdn1 udevadm_test: MAJOR=8 udevadm_test: MINOR=209 udevadm_test: DEVNAME=/dev/ASMDATn udevadm_test: DEVTYPE=partition udevadm_test: ACTION=add udevadm_test: SUBSYSTEM=block 5）重启udev服务，使其生效，验证设备别名创建成功。 # /etc/init.d/boot.udev restart 6）验证设备别名创建成功。 # ls -la /dev/ASM* brw-rw---- 1 grid dba 251, 1 May 28 21:42 /dev/ASMDAT1 brw-rw---- 1 grid dba 251, 17 May 28 21:42 /dev/ASMDAT2 brw-rw---- 1 grid dba 251, 33 May 28 21:42 /dev/ASMLOG1 brw-rw---- 1 grid dba 251, 49 May 28 21:42 /dev/ASMLOG2 12

SLES 环境下使用HDS SAN存储技术指导手册

注意：若未创建成功，可尝试执行/usr/sbin/partprobe使其生效；若仍不能成功创建别名，可执行reboot使其生效。

五. 从现有环境中回收存储

5.1 保留数据的回收文件系统

1）umount文件系统 # umount /oracleser/app11203 2）卸载VG并导出 #vgchange –an /dev/dbmsvg #exportvg /dev/dbmsvg 3）删除mapping关系 4）删除scsi设备

# dlmcfgmgr –o /dev/sddlmN # echo \# dlmcfgmgr –i /dev/sddlmN 5）刷新HDLM设备，检查LUN状态，并 # dlmcfgmgr –v # dlmcfgmgr –u /dev/sddlmN # dlmcfgmgr –r # dlmcfgmgr -v 5.2 不保留数据的回收LUN

1）umount文件系统 # umount /oracleser/app11203 2）deactive vg

#vgchange –an /dev/dbmsvg 3）删除lv # lvremove /dev/testvg/testlv 4）删除vg # vgremove /dev/testvg 5）删除pv # pvremove /dev/sddlmma 6）删除mapping关系 7）删除scsi设备 # dlmcfgmgr –o /dev/sddlmN # echo \remove-single-device a b c d\> /proc/scsi/scsi #a b c d可通过dlmcfgmgr -v命令得到 13

SLES 环境下使用HDS SAN存储技术指导手册

# dlmcfgmgr –i /dev/sddlmN 8）刷新HDLM设备，检查LUN状态，并 # dlmcfgmgr –v # dlmcfgmgr –u /dev/sddlmN # dlmcfgmgr –r # dlmcfgmgr -v 5.3 ASM环境中回收存储

1）将需要删除的LUN所对应的ASM盘从oracle数据库DG中删除。 2）在节点1上修改udev配置文件，编辑99-oracle-asmdevices.rules，将对应的LUN从文件中删除，如该数据库为RAC，则需要在节点2上相应修改udev配置文件。

3）重启udev服务使之生效： # /etc/init.d/boot.udev restart 4）验证ASM磁盘已从系统上剔出 # ls -l /dev/ASM* 5）将退出的LUN删除分区

# fdisk /dev/sddlmac

Command (m for help): p

Disk /dev/sddlmac: 2147 MB, 2147483648 bytes

48 heads, 4 sectors/track, 21845 cylinders, total 4194304 sectors Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x599ea4f2

Device Boot Start End Blocks Id System

/dev/sddlmac1 2048 4194303 2096128 8e Linux LVM

Command (m for help): d Selected partition 1

Command (m for help): Command (m for help): w

The partition table has been altered!

Calling ioctl() to re-read partition table. Syncing disks.

14

SLES 环境下使用HDS SAN存储技术指导手册

6）使用/usr/sbin/partprobe更新分区表，确认分区执行成功 # /usr/sbin/partprobe # cat /proc/partitions 251 0 104857600 sddlmaa 251 1 104856576 sddlmaa1 251 16 104857600 sddlmab 251 17 104856576 sddlmab1 251 32 1048576 sddlmac 7）从系统上将该块LUN从系统中退出 详见上述回收存储步骤

六. 文件系统迁移（非磁盘复制）

6.1 删除原服务器文件系统

1）卸载原文件系统，并导出vg

# umount /test #vgchange –an /dev/testvg #vgexport /dev/testvg 2）从磁盘机上找到原服务器所在hostgroup，删除原WWN，添加新服务器对应的WWN，并从服务器上将LUN删除，注释/etc/fstab文件所在外置文件系统的行。

6.2 识别新服务器文件系统

3）新服务器上识别LUN，并扫描磁盘盘头信息，自动识别volume group信息 # vgscan 4）激活volume group后，修改/etc/fstab，该文件所对应的外置文件系统内容应与原服务器一致 #vgchange –ay /dev/testvg #mount -a 七. ASM盘全量迁移（非磁盘复制）

7.1 回收原服务器ASM盘

详见ASM回收章节

15

本文来源：https://www.bwwdw.com/article/e76t.html