并行集群环境下迭前时间深度偏移作业的运行效能研究

并行集群环境下

迭前时间／深度偏移作业的运行效能研究

大庆油田有限责任公司勘探开发研究院冯保民魏锐李建霞集群技术应用现状

地震数据处理领域一直是高性能计算服务器应用的重要领域。基于队架构的高性能集群并行机是伴随着计算机芯片技术、网络技术、系统集成技术和Ｌｉｎｕｘ的发展而出现的新产品。这些高性能集群并行机主要应用于地震数据处理、全三维可视化数据体解释、油藏模拟计算，尤其在三维叠前深度偏移及高分关辨率地震资料处理得到了很好的应用，高性能集群并行机和三维叠前深度偏移理论的发展，极大地提高了复杂地质构造的地震资料的成像持量和油气勘探目标的准确识别，成为了三维叠前深度偏移及高分辨率地震资料处理的首选平台。二ｏＯ三年，大庆油田公司研究院引进了１２９个节点的高性能集群并行机系统，运行Ｐａｒａｄｉｇｍ公司的ＧｅｏＤｅｐｔｈ三维迭前处理软件。目前，已经完成了１５００ｋｉｎ２三维迭前深度偏移处理任务，实现了实际地震资料处理的工程化。二影响偏移作业运行效能的因素及保障作业稳定运行方案

三维迭前深度偏移工作大致分为三个阶段：预处理、提取速度建立模型、偏移。从工作方式上三个阶段的差别是：预处理为单节点批量处理；速度建模为单节点交互处理；时间偏移和深度偏移为多节点并行批量处理。从作业运行时间上，三个阶段的差别是：预处理作业用时少，单作业时间一般不超过一两天；速度建模则为处理解释人员的人工劳动；偏移阶段根据数据体大小，短则两周，长则一到两个月。偏移阶段的特点是：一次分发任务给上百个节点，这些节点同时参与并行计算。当第一次分发的数据在所有计算节点上全部计算完成后，主节点回收结果数据并进行第二次数据分发，直至作业结束。在这个循环过程中，如果其中某个节点出现问题，则会导致节点计算速度慢，造成其它节点的等待，直到该节点处理完当前任务，回收后才进行下一次任务的分发。所以在确保并行各节点正常稳定工作的同时，应避免某一节点因用户访问数目过多或提交其他作业争夺系统资源而导致该节点计算速度缓慢，造成集群并行系统整体性能下降，如我们后面要重点介绍的屏蔽其它用户对偏移作业运行节点访问就是通过保证该节点用户数目的合理性方面，来提升系统整体性能的实例。

影响偏移作业运行效能的因素有网络延迟、ＣＰＵ速度、内存大小、倍频参数、死进程、文件系统限制、临时交换区、系统负载等。

工作中我们分析了影响偏移作业运行效能的主要因素并摸索出一套行之有效的方案避免了上述问题的发生，保障了作业的稳定运行。

保障作业稳定运行、提高效能的方案：

（１）在大偏移作业提交之前，彻底清除用户死进程和系统死进程。保证正常的系统初始环境。（２）检查所有计算节点的ＣＰＵ数、倍频参数、内存大小是否一致。

（３）检查所有计算节点的临时空间是否满足计算需要，删除无用的文件，释放更多的缓冲空间。（４）检查所有计算节点的管理网络和计算网络是否畅通，有无延迟时间太长的节点。（５）检查所有计算节点是否存在文件大小限制问题。一７７—

（６）屏蔽其它用户对偏移作业运行节点的访问，使作业在运行期间不受其它干扰。

（７）重点监控参与偏移任务的节点机的关键性能指标的变化趋势，如温度、风扇速度，及时评估节点运行状态，做好故障处理预案。

（８）记录、统计计算节点故障次数，分析、总结故障原因，进一步完善该方案。

现以屏蔽其它用户对偏移作业运行节点的访问，使作业在运行期间不受其它干扰，提高并行系统效能方面，来详细阐述一下实现过程：

三屏蔽其它用户对偏移作业运行节点访问的实现过程

首先选择参与并行运算的一百个节点形成ｈｏｓｔｓｌ００ｃｈｅｎｙ文件，再将系统允许正常访问各节点的用户形成ｕｓｅｒｎａｍｅｓ文件；其次，编写ｄｅｎｙｕｓｅｒ脚本程序进行封装、屏蔽其他用户，确保进行并行计算的大作业（一到二个月内）不受任何干扰；最后当偏移作业运行结束时再释放这些节点交给其他用户使用，提高并行机群系统性能的整体发挥。

实现方法：

１．ｈｏｓｔｓｌ００ｃｈｅｎｙ文件

该文件定义了参与并行计算的１００个节点主机名

ＣＯＯｌ

ＧｌＯＯ

２．ｕｓｅｒｎａｍｅｓ文件

该文件定义了系统允许正常访问机群节点的用户名

ｌｉｌｌ

ｌｉｗ

ｗｕｑｌ

ｃｈｅｎｚｄ

ｆａｎｘｃ

ｈｉｍ

ｈｅｙｑ

ｗｅｉｄｌ

ｌｉｙｌ

ｃｈｅｎｙ

ｌｉｖｆ

３．ｄｅｎｙｄｏ文件

该文件确保系统的可靠性，避免进行一些不正当的非法操作，给系统带来隐患。

４．ｄｅｎｙｕｓｅｒ脚本程序的编写

该程序实现了限制、屏蔽其他用户，禁止访问这１００个节点的功能，程序如下：

静！／ｂｉｎ／ｂａｓｈ

ｉｆ［￥群一ｈ２］

ｔｈｅｎ

ｅｄｈｏ”ＵＳＡＧＥ：￥０ＨＯＳＴＮＡＭＥ

ｅｘｉｔｌｉｓｔａｌｌｏｗｕ∞ｒｎａｍｅ’’

ｆｉ

讧［一ｆ／ｅｘｐｏｒｔ／ｂｉｎ／．ｄｅｎｙｄｏ］一７８—

ｔｈｅｎ

ｅｃｈｏ＂ｔｈｅｄｅｎｙｕｓｅｒ．ｓｈｈａｓｂｅｅｎｅｘｅｃｕｔｅｄａｎｄｈａｓ

ｅｘｉｔｎｏｔｂｅｅｎｕｎｄｏ！！！”

ｆｉ

ｅｃｈｏ１＞／ｅｘｐｏｒｔ／ｂｉｎ／．ｄｅｎｙｄｏ

ｆｏｒｉ

ｄｏｉｆｆｃａｔ／ｅｘｐｏｒｔ／ｂｉｎ／ｕｓｅｍａｍｅｓ＂

讧［￥ｉ＝＝”￥２”］

ｔｈｅｎ

ｅｃｈｏ＂Ｏｎｌｙ￥ｉ

ｅｌｓｅｃａｎｂｅｌｏｇｉｎｔｏｔｈｅｓｅｈｏｓｔｓ！”

ＤＥＮＹＵＳＥＲＳ＝”￥ＤＥＮＹＵＳＥＲＳ￥，

ｆｉ

ｄｏｎｅ

ｅｃｈｏ”￥ＤＥＮＹＵＳＥＲＳｗｉｌｌｂｅｄｅｎｉｅｄｔｏｌｏｇｉｎｔｈｅｓｅｈｏｓｔｓ［”

ｒｎｌ—ｆ／ｅｘｐｏｒｔ／ｂｉｎ／ｐａｓｓｗｄ．ｄｅｎｙ

ｒｃｐｅ０１０１：／ｅｔｃ／ｐａｓｓｗｄ／ｃｘｐｏｒｔ／ｂｉｎ／ｐａｓｓｗｄ．ｂａｋ

ＩＦＳ＝￥’、ｎｔ

ｆｏｒ

ｄｏ

ｂｏｏｌ＝０

ＩＦＳ＝￥”

ｆｏｒｉｉｎ￥ＤＥＮＹＵＳＥＲＳ

ｄｏ

ｉｆｅｃｈｏ￥ｊＩｇｒｅｐ￥ｉ＞／ｄｅｖ／ｎｕｌｌ２＞＆ｌ

ｔｈｅｎＪｉｒｆｃａｔ／ｅｘｐｏｒｔ／ｂｉｎ／ｐａｓｓｗｄ．ｂａｋ＂

ｅｃｈｏ”群￥ｊ”≥＞／ｅｘｐｏｒｔ／ｂｉｎ／ｐａｓｗｄ．ｄｅｎｙ

ｅｃｈｏ￥ｉｈａｓｂｅｅｎｄｅｎｉｅｄ

ｂｏｏｌ＝ｌ

ｆｉ

ｄｏｎｅ

讧［￥ｂｏｏｌ＝＝叼”］

ｔｈｅｎ

ｅｃｈｏ￥ｊ＞＞／ｅｘｐｏｒｔ／ｂｉｎ／ｐａｓｓｗｄ．ｄｅｎｙ

ｆｉ

ｄｏｎｅ

Ｉ碍＝￥、、ｎ、ｆ

ｆｏｒｉｉｒｆｃａｔ／ｅｘｐｏｒｔ／ｂｉｎ／ｈｏｓｔｓ￥ｒ

ｄｏ

ｅｃｈｏ￥ｉ

ｒｓｈ￥ｉ”ｃｐ／ｃｔｃ／ｐａｓｓｗｄ／ｅｔｃ／ｐａｓｓｗｄ．ｂａｋ．ｄｅｎｙ；ｃｐ／ｅｘｐｏｒｔ／ｂｉｎ／ｐａｓｓｗｄ．ｄｅｎｙ／ｅｔｃ／ｐａｓｓｗｄ”

ｄｏｎｅ．．７９．．

５．使用方法

以只允许ｃｈｅｎｙ用户访问为例：

＃／ｅｘｐｏｒｔ／ｂｉｎ／ｄｅｎｙｕｓｅｒ．ｓｈ１００ｃｈｅｎｙｃｈｅｎｙ

６．屏蔽用户后的校验

各节点的ｐａｓｓｗｄ文件封装、屏蔽后如下：

＃ｌｉｌｌ：ｘ：５５５６：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｌｉｌｌ：ｂｉｎ／ｔｃｓｈ

＃ｌｉｗ：ｘ：５５５７：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｌｉｗ：ｂｉｎ／ｔｃｓｈ

＃ｗｕｑｌ：ｘ：５５５８：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｗｕｑｌ：ｂｉｎ／ｔｃｓｈ

＃ｃｈｅｎｚｄ：ｘ：５５５９：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｅｈｅｎｚｄ：ｂｉｎ／ｔｃｓｈ

桴ｆａｎｘｃ：ｘ：５５６０：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｆａｎｘｃ：ｂｉｎ／ｔｃｓｈ

＃ｂｉｍ：ｘ：５５６１：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｂｉｍ：ｂｉｎ／ｔｃｓｈ

撑ｈｅｙｑ：ｘ：５５６２：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｈｅｙｑ：ｂｉｎ／ｔｃｓｈ

＃ｗｅｉｄｌ：Ｘ：５５６３：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｗｅｉｄｌ：ｂｉｎ／ｔｃｓｈ

＃ｌｉｙｌ：ｘ：５５６４：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｌｉｆｔ：ｂｉｎ／ｔｃｓｈ

＃ｃｈｅｎｙ：ｘ：５５６５：５０９：：／ｅｘｐｏｒｔ／ｈｏｍｅ／ｅｈｅｎｙ：ｂｉｎ／ｔｃｓｈ

｛Ｉ；｝ｈｙｆ：ｘ：５５６６：５０９：：／唧ｏｎ／ｈｏ呲／ｌｉｙｆ：ｂｉＩ∥ｔｃｓｈ

脚本程序的优点：可以根据用户使用节点个数的变化随时屏蔽或释放其它用户对节点的访问，简化了在多节点上的重复操作过程并保证操作的准确性。

四屏蔽用户的释放

１．ｕｎｅｎｙｕｓｅｒ．８ｈ脚本程序

＃！／ｂｉｎ／ｓｈ

近￥＃一Ｉｔ１］

ｔｈｅｎ

ｅｃｈｏ”ＵＳＡＧＥ：￥０ＨＯＳＴＮＡＭＥ—ｌｉｓｔ”

ｅｘｉｔ

６

ｆｏｒｉ

ｄｏｉｎ＇ｃａｔ／ｅｘｐｏｒｔ／ｂｉｎ／ｈｏｓｔｓＳ、

ｅｃｈｏ￥ｉ

ｒｓｈ￥ｉ”ｃｐ／ｅｔｃ／ｐａｓｓｗｄ．ｂａｋ．ｄｅｎｙ／ｅｔｃ／ｐｏｓｓｗｄ”

ｄｏｎｅ

ｒｉｌｌ—ｆ／ｅｘｐｏｒｔ／ｂｉｎ／．ｄｅｎｙｄｏ

２．使用方法

／ｅｘｐｏｒｔ／ｂｉｎ／ｕｄｅｎｙｕｓｅｒ．ｓｈｌＯＯｃｈｅｎｙ

五小结

作为系统管理员，工作中从实际问题、实际需求出发，深入研究系统性能优化技术并结合地震处理软件在实际应用中对系统资源的不同需求，找出应用软件与系统之间存在的某些瓶颈。改进了这些瓶颈，将会对实际生产带来显著的效果和经济效益。该方案是对实际工作中的经验总结，可应用于目前各油田处理中心的不同集群并行机系统，不仅是ＩＩＰ系统，也包括ＩＢＭ、ＤＥＬＬ、ＳＵＮ、联想、曙光等。本文的出发点和思想可为同行专业人员借鉴。一８０—

本文来源：https://www.bwwdw.com/article/y651.html