[發明專利]數據并行處理方法、裝置、設備及存儲介質

在審

• 申請號: 202010199891.3
• 申請日: 2020-03-20
• 公開（公告）號: CN111400012A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 陳軍;唐成山
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據并行處理方法，其特征在于，包括：

若待處理任務支持分片，獲取數據拆分規則；

根據所述拆分規則將所述待處理任務拆分為多個子任務；

將所述多個子任務分配至對應的線程進行處理，獲得多個子結果；

將所述多個子結果進行合并，獲得數據處理結果。

2.根據權利要求1所述的方法，其特征在于，獲取數據拆分規則，包括：

根據所述待處理任務的身份標識碼獲取分片參數；

根據所述分片參數確定數據拆分規則。

3.根據權利要求1所述的方法，其特征在于，根據設定拆分規則將所述待處理任務拆分為多個子任務，包括：

注冊拆分表；

將拆分的多個子任務的信息登記至所述拆分表中；所述拆分表用于記錄拆分進度。

4.根據權利要求3所述的方法，其特征在于，所述子任務的信息包括：子任務的身份識別碼、輸入文件路徑、輸出文件路徑及記錄條數。

5.根據權利要求3所述的方法，其特征在于，將所述多個子任務分配至對應的線程進行處理，獲得多個子結果，包括：

根據子任務的信息按照鎖機制將所述多個子任務分配至對應的線程進行處理，獲得多個子結果。

6.一種數據并行處理裝置，其特征在于，包括：

數據拆分規則獲取模塊，用于若待處理任務支持分片，獲取數據拆分規則；

子任務獲取模塊，用于根據所述拆分規則將所述待處理任務拆分為多個子任務；

子結果獲取模塊，用于將所述多個子任務分配至對應的線程進行處理，獲得多個子結果；

數據處理結果獲取模塊，用于將所述多個子結果進行合并，獲得數據處理結果。

7.根據權利要求6所述的裝置，其特征在于，所述數據拆分規則獲取模塊，還用于：

根據所述待處理任務的身份標識碼獲取分片參數；

根據所述分片參數確定數據拆分規則。

8.根據權利要求6所述的裝置，其特征在于，所述子任務獲取模塊，還用于：

注冊拆分表；

將拆分的多個子任務的信息登記至所述拆分表中；所述拆分表用于記錄拆分進度。

9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-5任一所述的數據并行處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理裝置執行時實現如權利要求1-5中任一所述的數據并行處理方法。