[發明專利]地震大數據集群并行機高效分選方法和裝置

在審

• 申請號: 202210127121.7
• 申請日: 2022-02-11
• 公開（公告）號: CN114519129A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 劉雪飛;趙偉
• 申請（專利權）人: 北京易源興華軟件有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035;G06F16/2455;G06F3/06
• 代理公司: 北京國謙專利代理事務所(普通合伙) 11752
• 代理人: 郭麗

1.一種地震大數據集群并行機高效分選方法，其特征在于，步驟包括：

獲取預設地震數據，依據要求下達數據分選任務指令；

依據數據分選任務指令將所述預設地震數據切塊處理，形成一級數據塊，并發送至計算節點；

依據所述計算節點內部的空閑核數和預分配的道集數對所述一級數據塊進行二次切分，形成二級數據塊并放置在緩存中；

按照緩存內道集隊列，獲取若干所述緩存中的同一目標關鍵字組數據，形成一個道集，收集多個道集形成輸出數據塊，數據按塊輸出到磁盤陣列的指定位置。

2.根據權利要求1所述的地震大數據集群并行機高效分選方法，其特征在于，

獲取所述數據分選任務指令，將所述預設地震數據切塊處理，形成一級數據塊，并發送至計算節點，包括如下步驟：

用戶預設分選使用節點數N，獲取集群內各節點的計算資源情況，FM為空閑內存量百分比，FC為空閑計算核數；當FM10％且FC10％時，選取當前節點為可用分選節點；

依次篩選集群內節點，直到獲得空閑節點數為N；若篩選集群內所有節點，獲得的空閑節點數N1N時，則重新設置N的值為N1；

根據目標數據存儲的文件總數，索引信息和選擇的節點情況進行數據切塊處理，數據切塊后形成的所述一級數據塊包括數據文件切塊和分選信息分塊；

將所述數據文件切塊和匹配的所述分選信息分塊分配到若干預設的所述計算節點，進行分布式計算。

3.根據權利要求2所述的地震大數據集群并行機高效分選方法，其特征在于，

所述數據文件切塊的形成，包括如下計算步驟：

所述數據文件切塊為B，B＝F/N；

其中，F為文件總數；

N為參與計算的空閑節點數；

當計算的數據文件切塊B數值大于N時，則數據文件切塊數量為B；當計算的數據文件切塊B數值小于N，則對每個數據子文件切分，分成M份，

M＝(N/F)+1

則目標文件總數為F1，F1＝M×F；

則所述數據文件切塊為B1，B1＝M×F1/N。

4.根據權利要求3所述的地震大數據集群并行機高效分選方法，其特征在于，所述分選信息分塊的形成步驟如下：

在依據數據文件的數據分塊的基礎上，通過數據索引，獲得每組數據塊中存在的目標關鍵字組道集的數據信息，分選信息分塊的結構為：

{Block1,(key1,key2...keyn),tcount}

其結構含義為，第Block1塊數據塊內，滿足目標關鍵字組(key1,key2...keyn)的數據道數為tcount；

所述分選信息分塊與所述數據文件切塊分別匹配。

5.根據權利要求1所述的地震大數據集群并行機高效分選方法，其特征在于，依據所述計算節點內部的空閑核數和分配數據塊的道集數對所述一級數據塊進行二次切分，形成二級數據塊并放置在緩存中的步驟包括：

獲取所述空閑核數，計算所述空閑核數的50％為可應用線程T，T至少為1；

數據塊內的道集數為G；

每個線程計算的道集數E＝G/T；

當E1時，修改T的值，使T＝G，確保每個線程至少有一個可計算道集，即E＝1；

數據切分完成后，在計算節點啟動T個線程，每個線程分配E個道集，進行數據的重排，重排后數據按順序放入提前分配好的緩存中。

6.根據權利要求5所述的地震大數據集群并行機高效分選方法，其特征在于，按塊輸入數據，進行數據的重排，重排后數據按順序放入提前分配好的緩存中的步驟包括：

將目標數據按塊讀入內存中，按照所述目標關鍵字組對數據進行排序，排序后的數據通過按道輪詢的方式，判斷其所屬道集放入道緩存的對應位置中，緩存是基于節點的分選信息分塊創建的基于內存的隊列，根據目標關鍵字組，分組成若干個隊列。