海量地震数据叠前逆时偏移的多GPU联合并行计算策略

第 5卷第 3 2期 21 0 3年 5月

石

油

物

探

Vo. 2 No 3 15, .Ma 2 3 y, 01

GE0P YS CAL H I PROS CTI PE NG FOR PETROL EUM

文章编号：00—14 (0 3 0 0 8 0 10 4 1 2 1 )3— 2 8— 6

海量地震数据叠前逆时偏移的多 G U P 联合并行计算策略孔祥宁张慧宇，守伟李晶晶。,刘，(. 1中国石油化工股份有限公司石油物探技术研究院，苏南京 2 10; .济大学，海江 113 2同上 20 9;.国石油大学( 00 23中华东 )山东青岛 2 68 ), 6 50摘要：叠前逆时深度偏移 ( r-tc ees-meD phMi ain R M) P e akR vret e t g t, T是一种全波场成像方法。由于其实现 s i r o过程存在着存储量、计算量庞大以及成像噪声等问题，以适应实际生产的需求，难使得该方法一直没有在工业界

得到广泛的应用。采用震源波场重构的策略降低了存储需求；对其计算量巨大的问题，针利用了图形处理器( a hcPo es gUntG U) Grp i rcsi i, P进行并行计算，与中央处理器 ( e ta P oes gUntC U) n并 C nrl rcsi i P结合实现协同 n,并行处理；同时采用 GP多卡联合策略解决 G U显存不足的瓶颈。实际资料试验处理结果表明， U P上述技术措

施能够在保证 R TM高精度成像优势的基础上极大地提高计算效率，为应用 R M处理海量地震数据提供了良 T好的技术支持。

关键词：叠前逆时深度偏移；计算效率； P C U; G U/ P并行计算；实用性D I1 . 9 9ji n 10—4 12 1 . 3 0 0 O:0 3 6/.s . 0 01 4 . 0 3 0 . 1 s

中图分类号： 6 1 4 P 3.

文献标识码： A

随着高性能计算机及其应用技术的高速发展， 叠前逆时深度偏移方法已经成为对复杂地质体进行成像现实可行的手段，该方法在成像精度上相对于其它偏移方法的优势也被普遍认可 _。叠前逆 1]

的研究工作不断取得突破性的成果。Ary- oo aaP l等 _] 1首先用 C l处理器实现了三维叠前深度逆时。 e l

偏移； c eiis1给出了利用

GP实现高阶 Mikvc[] i u。 U有限差分的算法； re Lj利用 G U实现 Darn等】在 0 P逆时偏移方面做了有益的尝试；博等_李 l出了 提

时偏移方法直接求解双程微分波动方程，避免了单程波偏移方法中上、行波的分离，波动方程的下对近似较少，克服了偏移倾角的限制，以有效地处可理纵、向速度存在剧烈变化的地球介质物性特横征l。。该技术除了具有成像精度高， _] 2。不受介质纵、 横向速度变化和高陡倾角构造的影响等优点外，甚至还可以利用一些传统处理中作为噪声压制的特殊波场 (多次波、如回转波及棱柱波等 )进行成像。 叠前逆时深度偏移并不是一个新的理论方法， 早在 2纪七八十年代就有学者提出了逆时偏移 0世

地震叠前逆时偏移算法的 C U/ U实施对策； P GP 赵磊等 _] 1根据 C U/ P异构平台计算能力非常 1 P G U强的特点，以牺牲计算量换取存储量和 IO次数/的减少，现地震叠前逆时偏移计算。实 简单地说， U/ P协同并行计算就是将 GP C U G U和 C U两种不同架构的处理器结合在一起， P P 组成硬件上的协同并行模式，同时在应用程序编写上实现 GP和 C U软件协同配合的并行计算。 U P

我们主要介绍采用 G U多卡联合策略解决 GP P U显存不足的瓶颈， GP C U异构集群平台上在 U/ P实现 RT的协同并行计算。 M

的基本思想和实现方法[ _ 4。虽然 R M成像精度 _ 6 T高，且对速度的适应性强，但是在实际生产中的应用规模还非常小，主要是由于 R这 TM对计算量和存储量的需求巨大等瓶颈问题不易解决 _] 7。随着 _ 9

1基本原理 各向同性介质下， M需要直接求解的三维 RT声波方程为O u十 Z, 8Z u 32 u

大型计算集群的快速发展，算需求和成本对计 R TM的限制逐渐减小， M的工程化应用已成 RT为可能 _ 1。近年在高性能计算方面出现的 G U/ P C U协同并行计算技术，速成为高性能密集计 P迅算发展的趋势。此种异构集群平台非常适合于 R TM等大规模数据的处理[与 C U集群相比， 1

, P 具有投入少，期运行维护成本低等优点。国内外后在基于 C U/ P的地震叠前逆时偏移计算方面 P G U

a十 z。a 0’a 0 0 v

一

0 z,, 。 ( ) Ot Y

() 1、

收稿日期：0 3 4—0;回日期：0 3— 5—0。 2 1—0 9改 21 0 2

作者简介 dL祥宁( 9 5 )男， 1 5一，高级工程师，主要从事地震成像现技术研究工作。

第 3期

孔祥宁等.海量地震数据叠前逆时偏移的多 GP U联合并行计算策略

29 8

式中： ( Y,) u x,, 为地表记录的压力波场； ( Y, v x, )为纵横向可变的介质速度。

时偏移面临的计算量问题。 目前，了解决巨大的存储需求问题，业界为工普遍使用的是 C ekp it g技术 l这种方法 hc-oni n _ 1,的核心思想是将偏移过程沿时间分成若干片段，每次偏移其中的一段时间，这样只需存储当前时间片段中的波场即可，而付出的代价是增加 0 5的计 .倍算量。这种方法较有效地减少了存储需求量，但存储量仍然较大，而且 IO量非常巨大，大地影响/极了计算效率。为此，我们采用震源波场重构的存储策略，即先将震源波场正向外推到 T 外推过程衄，中只存储边界波场信息，然后在检波点波场进行逆推时作为边界条件再重构震源波场，再应用成像条

在求解方程 () 1的过程中需要利用合适的成像条件提取成像值。本文中逆时偏移的实现采用了方程 () 2所示成像条件，成像条件考虑了震源波该场的照明补偿，直接的相关成像条件具有较优的较保幅特性，为后续的 AVO等属性分析提供更真可实的地震信息。n ax

∑ s(,, t ,,￡ Yz ) ( Y, _,R z ) z￡ 0一

2 I z,,,)+ s山， IU S ( z,/ \ Y￡_

t O=

() 2

件。这种方法同样增加了 05倍的计算量，存储 .但量和 IO量均得到了大幅度的降低。/ 对于计算量太大这一瓶颈问题，们引入了我 G U/ P P C U联合并行的计算策略。无论是波场的

式中：为最大记录时间；。z,,)正向外 S ( Y

, 为推的震源波场；。z,,)反向外推的记录波 R ( Y, 为场；(, z为点 ( Y ) Ix Y,),,的成像结果；为一小常盯量，以保证方程 () 2的稳定性。 逆时偏移的实现流程如图 1所示。

正向延拓还是反向延拓，我们都采用了显式有限差分的计算方法，方法计算密度非常高，行性非该并常好，适用于利用 GP进行并行计算。通过高性 U能的 GP C U异构集群平台， U/ P充分利用 GP在 U科学计算方面的强大优势，建立了实用的叠前逆时

源模拟记录

深度偏移成像技术流程。全波波动方程沿时间正向延拓

2 R TM并行计算策略高阶全波波动方程有限差分外推算子l l l全波波动方程高阶有限差分外推算子

地震叠前逆时深度偏移是典型的大计算吞吐、正向震源点外推波场 l l I接收点逆时外推波场

大数据吞吐的地震数据处理任务，须采用并行计算的策略来实现其实际应用； R而 TM中所固有的可

上、下波场相关求和得到深度域成像值

分解性和线性叠加性质，其具有良好的并行能使力，这为我们实现 R M的并行计算提供了条件。 TGP C U协同并行计算就是将 GP和 C U两 U/ P U P种不同架构的处理器结合在一起，组成硬件上的协同并行模式，时在应用程序编写上实现 GP和同 U C U软件协同配合的并行计算。C U主要负责 P P GP的控制、 U数据的准备、据在节点间的发送与数接收等，即进行并行控制； P主要进行 R G U TM中最耗时的波场外推计算及进行并行计算。有限差分法波场外推是典型的单指令多数据的计算，非常适合用 G U处理。 P

图 1逆时偏移技术流程

逆时偏移方法是通过双程波波动方程在时间

上对地震资料进行反向外推并结合成像条件实现偏移的，对全波场进行逆时外推，免了上、行波避下

的分离，且不受倾角的限制，能够对任意倾斜构并造甚至回转波进行成像 _ 1。逆时偏移在算法实现上主要包括 3部分关键技术，即震源波场的正向延拓、接收点波场的反向延拓和恰当的成像条件。由于震源波场沿时间是正向的，前炮记录波场沿

时叠间是逆向的，要将这两个波场做零延迟互相关，就

设计并行算法首先要选择合适的并行粒度。 并行算法根据计算任务的大小可分为粗粒度并行算法、细粒度并行算法和介于二者之间的中粒度并行算法。并行粒度的选择在对物理问题并行性分析的基础上，须兼顾通讯开销、算与通讯的重必计

必须要保存其中一个波场，这就是逆时偏移面l临的存储量问题。震源波场和检波点波场都根据方程() 1进行双程外推，无论是利用有限差分法求解还

是利用伪谱法求解都需要巨大的计算量，这就是逆

叠程度、负载均衡及容错处理等并行程序设计中的

20 9

石

油

物

探

第 5卷 2

关键问题。 2 1 C U上的并行设计 . P

大大增加了计算相对于通信的比重，有效地提高了

计算效率。考虑到计算节点间性能的差异及多用户运行环境下最大限度地发挥各个节点的计算效率， 我们采用了“任务池”分配方式 ( 2的主从并行计图 )算模式来保证 R M计算时的动态负载均衡。 T 具体的实现过程是：首先，主进程读取计算参数，计算出 R M成像的总炮数及相关参数，成 T形

R TM计算以一个炮集数据为基本计算单元， 每一炮数据的偏移成像都是一个相对独立的作业， 计算时相互之间不需要或很少需要进行数据交换， 因而具有很强的并行性，适合作为一个独立的并很行作业。这是典型的 S MD算法，在不同结点 P即

上用相同的程序对不同的数据体进行计算。不同 节点上的计算任务不是同时开始或结束，各个节点任务的开始与结束和其它节点任务的开始与结束无关，且不同节点上相同程序不同数据的计算或并

“任务池”然后，;各个从进程到主进程取得所要计算的“任务”进行 R M成像计算，每一炮的成， T将像结果保存在本地磁盘的临时文件中，时从主进同

程获取新的“务”直到所有的“任，任务”完成；最后， 收集各个从进程的计算结果，输出最终 RT成并 M像结果。

通信也不是同时进行的。每个节点上每一份作业做完，即得到一份新的作业，又立即开始执行，便这

图 2实现 R TM的主从并行计算模式

2 2 G U上的并行设计 . P

高

计算效率。需要注意的是，用高阶有限差分法利计算需要大量的内存读写，以三维时问二阶、间空 8阶差分网格为例，每计算一个网格点的值都需要读取周围 2个网格点的数据， 5内存读取冗余度非

GP上实现逆时偏移计算主要包括两项关键 U技术，是并行策略，一二是存储策略。 我们知道， U上的并行计算属于细粒度并 GP行算法，的并行结构分为 3层次：它个线程、程块线

以及由线程块组成的线程网格，它可以针对数据体中的每个元素进行并行计算，力度之细是 C U无 P法比拟的。我们所实现逆时偏移的主要计算热点为有限差分计算，限差分算子可以抽象为向量乘有法问题。因此，整个 R M计算过程中计算量最将 T密集的波场延拓通过 G U并行策略实现，能提 P最

常高。为此，我们考虑借用 G U提供的片内存储 P器共享内存来降低数据读取延迟，高计算效提率_ 1目前最新的一款 n da Tel Ke l 。 Vii s pe a rK2 X图形处理器有 2 6 8个核心，以同时处理 0 8可

26 8样本， 8个尤其是针对 RT的单精度计算， M具有非常高的处理效率。 我们主要采用的存储策略是震源边界波场存

第 3期

孔祥宁等.海量地震数据叠前逆时偏移的多 GP U联合并行计算策略

23 9

vret gai I] E pn e srcs f7‘ es-me rt n J . x a ddAbtat 4 i mi o - o

4结束语 通过震源波场重构策略及 GP C U协同并 U/ P行计算，保证成像品质的前提下，分发挥了在充

An u l n e n tS n a t r a EG t 2 0, 0 7 1 6 I M g, 0 4 1 5— 0 0

[9 D sa d E o uainlsrtg s fr rvre] u su .C mp tt a taei o ees- o e

t gai[] E p n e srcso 8 i mirt n J . x a ddAb t t f7 An me o a —n a n e n tS u l t r a EG t, 0 8, 2 7 2 7 I M g 2 0 2 6—2 1

[ 0 F ln kD, ao Ma o s yJ e a .n u ta 1] ot e E tnD, hv k,t 1

Id sr l i i- saervret gaino U ad ae J. cl es i mi t nGP h rw rI] e me r o -Ex a d d Ab ta t o 9 An u l n en t EG p n e srcs f 7 n a I tr a SMt 2 g, 009, 89 27 27— 93

G U的计算优势， P极大地提高了 R M的计算效 T率。而 GP多卡联合处理技术能够有效地解决 UGP显存不足这一瓶颈。实际资料的处理结果表 U明，借助于 G U/ P异构集群后， TM这种高 P CU R精度成像方法能够达到实际应用的要求，有利于对

[ 1赵磊， 1]王华忠，刘守伟 .时深度偏移成像方法及其逆在 C U/ P P G U异构平台上的实现[]岩性油气藏， J.2 1 2 ( 7: 6 4 0 0, 2 F0 ) 3— 1Z a W a g H Li . v r e t e t — h o L, n Z, u S W Re e s -i d p h mi me

复杂地质体进行准确、有效地成像。参考文献

gain i gn n t p lai tC U/ P rt ma ig ad i api t n a P G U o s c o

[1刘定进，勤勇，]杨方伍宝，叠前逆时深度偏移成像等.的实现与应用[]石油物探，0 15 () 5 55 9 J. 2 1,0 6:4—4Li J Ya g Q F n e 1Re l ain a d u D, n Y, a gW B, ta. ai t n z op a t e fp esa k rv ret e t g ain r c i s o r -t c e e s -i c me d p h mi r to

pafr J . i oo i R sror, 0 0 2 ( 0 ) l om[] Lt l c eev i 2 1, 2 F 7: t h g s3— 6 41

[ 2 Ary- ooM, u i d rzR,t 1 3 si 13 a a l R boF,el C u e .D e— P a a smi ma i g t r u h r v r e t g a in o o— c i g n h o g e e s i mi r t n h r - me o n

[] G o h s a P o pcigfr erl m,0 1 5 J. e p yi l rset t e 2 1,0 c n oP o u( ) 5 55 9 6:4—4

o e e u n h tr g n o s

g n o s a d e eo e e u mut c r p o es r l—o e r c so s i

E]J un l f c nicP o rm n,0 9 1 (/ J.o ra o i ti rga mig 20, 7 1 S e f2 1 618 ): 8 - 9

[2陈可洋.于高阶有限差分的波动方程叠前逆时偏]基

移方法[]石油物探，0 9 4 () 4 54 8 J. 2 0,8 5:7—7Ch n K W a e e u t n p e s a k r v r e t — e Y. v q a i r - t c e e s - i mi o me g a in me h d b s d o i h o d r f i - i e e c r t t o a e n hg - r e i t df rn e o n e f

r 3 M i k vc s P 3 ii i ee c o u ai n 1] c e i u . D f t df rn ec mp t t n o i i ne f o

G U s gC D J. rc d g f叫 Wok P sui U A[] Poe i so n en 2 r—s o o n r l Pu p s o e sn n Gr p is h p n Ge e a r o e Pr c s i g o a h cP o e sn n t, 0 9, 9 8 r c s i g U is 2 0 7— 4

a poc[] G o h sclP op cig frP t l p rah J . ep yi rset o er e a n o—u, 0 9, 8 5: 7— 7 m 2 0 4 ( ) 4 54 8

[ 4李博， 1]刘红伟，国峰，地震叠前逆时偏移算法的刘等.C U/ U实施对策[]地球物理学报， 0 0 5 P GP J. 2 1,3( 2:9 82 4 1 ) 2 3-9 3L Li W, u G e 1C mp t t n l ta e i B, u H Li F, ta. o u a i a r t— o s g f s imi r - t c r v r e t g a in o y o es c p esa k e es i me mi r t n o

[3 杨勤勇，心标 .]段逆时偏移技术发展现状与趋势[] J.石油物探，0 0 4 () 9—8 2 1,9 1:29Ya g Q Du n X De eo me tsau n rn n Y, a R v lp n tt sa d te d

o ees i g a o[] Gep yi l rse— f vret mirt n J . o h s a P op

c r me i ct g f rPer lu,0 0, 9 1: 29 i o toe m 2 1 4 ( ) 9 - 8 n

C U/ U[] hn s o ra f o h s s P GP J .C iee J unl Gep yi, o c2 1, 3 1 ): 9 8 2 4 0 0 5 ( 2 2 3—9 3

[ Wht r I trt edph mirt n b ak 4] i eN D eai e t gai y b c— mo I v owad t rp gt n[] x ad d Abtat o r i po aai J .E p n e s cs f me o r5 An u lI t r a EG t 1 8, 2— 3 3 n a n e n tS M g, 9 3 8 7 8 0

[ 5 S me w_ e es i gain w t pi l 1] y sW R vret mi t i o t me r o h macekp it g J . o h s s2 0,2 5:M2 3 h c oni[] Gep y i,0 7 7 ( ) S 1一 n cS 2 1 M 2

[ 5] Mc ca Mirt nb xrp lt no i - Meh nG gai ye t oai f me o a o t

d p n et o n ay a e[] G o h s a P op c e ed n u d r l sJ. e p yi l rse— b vu ct g, 9 3, 1 3 4 34 0 i 1 8 3 ( ): 1— 2 n

[ 6 Viara A, cl 1] l r l Sae J l e s

Dsr ue he i n i i td tredme— tb

so a i i - if r n e mo ei g o v r p g t n in lf t d fe e c d l fwa ep o a a i n e n o

r6 ] L e n h l Mu t I . v re me g a i o we t a D, f R Re es dt r t n i i i mi o n

i ao si mei[] C mp tr h s s 19,1 n c ut daJ. o uesnP yi,9 7 1 c i c( )3 83 9 4:8-9

sail rq ec o i J . o h s s 1 8, 8 p t eun y d ma af n[] Gep yi, 9 3 4 c( ) 676 5 5:2 -3

[ 7李博， 1]刘国峰，刘洪.地震叠前时间偏移的一种图形

[7陈可洋.]地震波逆时偏移方法研究综述[勘探地刀.球物理进展，0 0 3 (

) 1 31 9 2 1,3 3:5—5Ch n K Re iw fs imi e e s i emi r t n e Y. ve o es c r v r e t g a i m o

处理器提速实现方法[]地球物理学报，0 9 5 J. 20,2( )2 52 2 1:4—5Li Li F。 u H. me h d o sn U o a— B, u G Li A t o fu i g GP t c

meh d E] P o rs n E poain Gep yi, to s J . rges i x lrt o h s s o c2 1 3 ( ) 1 319 0 0,3 3: 5— 5

cl aesi c r sakt gain J. hn s e rt es e tc memirt[] C iee e mi p- i oJ u n lo o h sc, 0 9, 2 1: 4—5 o r a fGe p y is 2 0 5 ( ) 2 52 2

[ Y o Mafr K J Sarw. h l n e n r— 8] o n K, rut , tr C a eg si e l

(辑：石庆)编顾

本文来源：https://www.bwwdw.com/article/pepe.html