[發明專利]數據并行處理方法、裝置、設備及存儲介質

在審

• 申請號: 202010199891.3
• 申請日: 2020-03-20
• 公開（公告）號: CN111400012A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 陳軍;唐成山
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例提供一種數據并行處理方法、裝置、設備及存儲介質。包括：若待處理任務支持分片，獲取數據拆分規則；根據所述拆分規則將所述待處理任務拆分為多個子任務；將所述多個子任務分配至對應的線程進行處理，獲得多個子結果；將所述多個子結果進行合并，獲得數據處理結果。本發明實施例提供的數據并行處理方法，將待處理任務拆分為多個子任務，然后將多個子任務分配至對應的線程中并行處理，最后將各個子結果合并，獲得最終的數據處理結果，可以減少單個作業處理的批處理時間，從而提高數據的處理效率。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據并行處理方法、裝置、設備及存儲介質。

背景技術

商業銀行核心系統基于IBM大型機構建，大型機上的聯機、批處理基于文件，并在計算過程中沒有網絡損耗，但是從大型機下移到X86開放系統后，X86系統CPU、網絡通訊、IO等損耗增加，單一機器無法滿足大型銀行10億級以上的業務處理，通過對業務數據進行業務領域垂直拆分，數據量水平拆分來解決數據庫瓶頸，但是在批處理中，一個批次的數據文件達到百萬級，如果按由單臺進行處理，仍然無法實現高效的計算。因而提高數據的處理效率顯得尤為重要。

發明內容

本發明實施例提供一種數據并行處理方法、裝置、設備及存儲介質，通過數據分片，把一個任務按一定比例拆分成多片，并在不同機器上并行運行，來減少單個作業處理的批處理時間，從而提高數據的處理效率。

第一方面，本發明實施例提供了一種數據并行處理方法，包括：

若待處理任務支持分片，獲取數據拆分規則；

根據所述拆分規則將所述待處理任務拆分為多個子任務；

將所述多個子任務分配至對應的線程進行處理，獲得多個子結果；

將所述多個子結果進行合并，獲得數據處理結果。

進一步地，獲取數據拆分規則，包括：

根據所述待處理任務的身份標識碼獲取分片參數；

根據所述分片參數確定數據拆分規則。

進一步地，在根據設定拆分規則將所述待處理任務拆分為多個子任務，包括：

注冊拆分表；

將拆分的多個子任務的信息登記至所述拆分表中；所述拆分表用于記錄拆分進度。

進一步地，所述子任務的信息包括：子任務的身份識別碼、輸入文件路徑、輸出文件路徑及記錄條數。

進一步地，將所述多個子任務分配至對應的線程進行處理，獲得多個子結果，包括：

根據子任務的信息按照鎖機制將所述多個子任務分配至對應的線程進行處理，獲得多個子結果。

第二方面，本發明實施例還提供了一種數據并行處理裝置，包括：

數據拆分規則獲取模塊，用于若待處理任務支持分片，獲取數據拆分規則；

子任務獲取模塊，用于根據所述拆分規則將所述待處理任務拆分為多個子任務；

子結果獲取模塊，用于將所述多個子任務分配至對應的線程進行處理，獲得多個子結果；

數據處理結果獲取模塊，用于將所述多個子結果進行合并，獲得數據處理結果。

進一步地，所述數據拆分規則獲取模塊，還用于：

根據所述待處理任務的身份標識碼獲取分片參數；

根據所述分片參數確定數據拆分規則。

進一步地，所述子任務獲取模塊，還用于：

注冊拆分表；