[發明專利]一種自動負載均衡的文件鎖并行地震處理作業調度方法

在審

• 申請號: 201811214596.X
• 申請日: 2018-10-18
• 公開（公告）號: CN109344135A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 薛東川;張金淼;李維新;朱振宇;劉永江;張云鵬;王小六;黃小剛;糜芳;江南森
• 申請（專利權）人: 中國海洋石油集團有限公司;中海油研究總院有限責任公司
• 主分類號: G06F16/176
• 分類號: G06F16/176;G06F9/50;G01V1/28
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 徐寧;孫楠

本發明涉及一種自動負載均衡的文件鎖并行地震處理作業調度方法，其步驟：在共享磁盤上新建一個索引文件，該索引文件僅包含一個起始炮號，該炮號指定了下一個將要偏移處理的地震道集；遠程登錄節點發送處理作業；各個節點上的處理進程在文件鎖同步機制下排隊讀取并修改索引文件，并將處理進程當前信息寫入日志文件；處理進程完成指定的地震數據處理，并在完成后將處理進程當前信息寫入日志文件；重復實施前述兩步驟，直至全部數據被處理完成；檢查并行作業日志文件，重處理缺失的地震數據。本發明提高了并行作業的實用性、安全性和運行效率，有利于海量地震數據的高效處理。

技術領域

本發明涉及一種石油天然氣地震勘探和高性能計算的交叉領域，特別是關于一種自動負載均衡的文件鎖并行地震處理作業調度方法。

背景技術

隨著石油天然氣礦藏勘探難度的不斷增加，石油行業先后提出了一些復雜的勘探技術方法，如三維地震勘探、高密度地震勘探、寬方位地震勘探和多分量地震勘探等。這些勘探方法導致需要處理的地震資料數據量急劇增加，如何高效地處理海量地震數據逐漸成為技術發展的瓶頸。目前，行業內主流的地震資料處理軟件都已著手針對耗時較長的處理環節開發相應的并行處理技術。這些技術通常都采用MPI(Message Passing Interface,信息傳遞接口)的編程方法實現多節點并行計算。MPI是一個跨語言的通訊協議，用于編寫并行計算機程序，支持點對點和廣播，其目標是高性能，大規模和可移植性。在實際應用過程中，發現MPI盡管有效，但也存在一些明顯的不足。例如，MPI并行處理程序運行時，需要預先為每個計算節點分配(一般采取平均分配)需要處理的數據。因此，作業一旦啟動以后，如果想要增加或者減少一些計算節點，只能首先殺死現有計算節點上所有正在運行的(該)處理進程，并在為調整后的各個節點重新分配數據之后，再次啟動這個并行作業。這一過程對于有數百個節點參與計算和TB數量級的地震數據處理作業來說是非常繁瑣和耗費時間的。所以，在并行計算過程中不能靈活地增加或減少計算節點是MPI并行的一個不足。

此外，個別節點宕機會導致整個并行作業崩潰也是MPI并行的一個缺點。實際地震資料處理都是在PC-Cluster上進行的，一些復雜的計算處理(如疊前深度偏移)常常會用到數百個以上的計算機節點。采用MPI編寫的并行計算程序在運行過程中，無論是主節點還是從節點，只要任意一個節點出現問題(如宕機或進程被意外殺死)，就會導致整個并行作業的崩潰。參與計算的節點數量越多，節點上運行的作業越多，這種情況出現的概率就越大。因此，在共享集群上長時間處理海量地震數據對MPI程序的運行環境和并行程序本身的穩定性都提出了嚴峻挑戰。另外，MPI并行程序預先將要處理的數據分配給各個計算節點，這使得并行程序難以現實自動負載均衡。在異構集群環境里，或在共享集群環境里(計算節點上運行著不同用戶發送的作業)，每一個計算節點可以為當前作業提供的計算服務性能存在差異，經常會出現一些性能較強的節點率先完成分配的計算任務后長時間處于閑置狀態，而另一些性能較差的計算節點尚有很多數據未完成處理的情況。這種現象就似大家熟知的“木桶效應”，即并行處理作業的總體運行效率由性能最低的計算節點決定。

由此可見，在地震資料處理中MPI并行作業存在3個主要缺點：(1)增減節點困難；(2)宕機損失嚴重；(3)負載不均衡等。如何提高海量地震資料并行處理作業在復雜計算環境下的實際運行效率成為目前亟需解決的技術問題。

發明內容

針對上述問題，本發明的目的是提供一種自動負載均衡的文件鎖并行地震處理作業調度方法，其提高了并行作業的實用性、安全性和運行效率，有利于海量地震數據的高效處理。