[發明專利]地震大數據集群并行機高效分選方法和裝置

在審

• 申請號: 202210127121.7
• 申請日: 2022-02-11
• 公開（公告）號: CN114519129A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 劉雪飛;趙偉
• 申請（專利權）人: 北京易源興華軟件有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035;G06F16/2455;G06F3/06
• 代理公司: 北京國謙專利代理事務所(普通合伙) 11752
• 代理人: 郭麗

本發明涉及地震勘探領域，尤其涉及一種地震大數據集群并行機高效分選方法和裝置，通過設置數據分選任務指令，對預設地震數據進行一次切塊處理，將一級數據塊發送至計算節點，再依據計算節點內部的空閑核數和預分配的道集數對一級數據塊進行二次切分，形成二級數據塊，啟動多個線程分選操作，每個線程按數據塊實施數據的輸入，然后按道進行數據的篩選重拍，并放置在緩存內，當目標數據塊篩選完成后，再獲取若干所述緩存中的同一組數據，形成一個道集塊，按塊輸出至磁盤陣列的指定位置，實現了通過分布式并行的數據分選模型，高效分選大規模地震數據，合理地應用計算資源，降低了數據處理過程的時間成本，有效提高數據分選效率。

技術領域

本發明涉及地震勘探領域，尤其涉及一種地震大數據集群并行機高效分選方法和裝置。

背景技術

石油勘探地震資料，在數據處理過程中，需要按照不同的道頭關鍵字值進行數據體順序的重排，而海量的大數據體的數據重排，常規做法是通過抽道集的方式，從磁盤陣列上一道一道的讀出所有目標道集，這種集中大量的磁盤讀寫請求，需要占用大量的I/O和計算資源，效率較慢，且極易造成讀寫堵塞，影響整個集群的效率。

針對上述問題，目前尚未提出有效的解決方案。

發明內容

本發明的目的在于針對現有技術的缺陷和不足，提供一種地震大數據集群并行機高效分選方法和裝置，通過設置數據分選任務指令，對預設地震數據進行一次切塊處理，形成一級數據塊，將所述一級數據塊發送至計算節點，再依據所述計算節點內部的空閑核數和預分配的道集數對所述一級數據塊進行二次切分，形成二級數據塊，啟動多個線程進行分選操作，每個線程按數據塊實施數據的輸入，然后按道進行數據的篩選重拍，并放置在緩存內，當目標數據塊篩選完成后，再獲取若干所述緩存中的同一組數據，形成一個道集，分別輸出至磁盤陣列的指定位置，實現了通過分布式并行的數據分選模型，高效分選大規模地震數據，且通過大塊數據的輸入和輸出，解決了大規模地震數據分選的讀寫堵塞問題，合理地應用計算資源，降低了數據處理過程的時間成本，有效提高數據加載效率。

為實現上述目的，本發明采用的技術方案：

一種地震大數據集群并行機高效分選方法，步驟包括：獲取預設地震數據，依據要求下達數據分選任務指令；

依據所述數據分選任務指令將所述預設地震數據進行一次切塊處理，形成一級數據塊，并發送至計算節點；

依據所述計算節點內部的空閑核數和預分配的道集數對所述一級數據塊進行二次切分，形成二級數據塊并放置在緩存中；

按照緩存內道集隊列，獲取若干所述緩存中的同一目標關鍵字組數據，形成一個道集，數據按塊輸出到磁盤陣列的指定位置。

在一些實施例中，獲取所述數據分選任務指令，將所述預設地震數據切塊處理，形成一級數據塊，并發送至計算節點，包括如下步驟：

用戶預設分選使用節點數N，獲取集群內各節點的計算資源情況，FM為空閑內存量百分比，FC為空閑計算核數；當FM10％且FC10％時，選取當前節點為可用分選節點；

依次篩選集群內節點，直到獲得空閑節點數為N；若篩選集群內所有節點，獲得的空閑節點數N1N時，則重新設置N的值為N1；

根據目標數據存儲的文件總數，索引信息和選擇的節點情況進行數據切塊處理，數據切塊后形成的所述一級數據塊包括數據文件切塊和分選信息分塊；

將所述數據文件切塊和匹配的所述分選信息分塊分配到若干預設的所述計算節點，進行分布式計算。

在一些實施例中，所述數據文件切塊的形成，包括如下計算步驟：

所述數據文件切塊為B，B＝F/N；

其中，F為文件總數；

N為參與計算的空閑節點數；