[發明專利]一種增量式數據并行處理裝置與方法

在審

• 申請號: 201710957385.4
• 申請日: 2017-10-16
• 公開（公告）號: CN107807845A
• 公開（公告）日: 2018-03-16
• 發明（設計）人: 崔鵬飛;田春華;蔣綿;劉家揚;景兆祥
• 申請（專利權）人: 昆侖智匯數據科技(北京)有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 北京力量專利代理事務所(特殊普通合伙)11504
• 代理人: 王鴻遠

1.一種增量式數據并行處理裝置，其特征在于，包括：

分片模塊，用于根據分片策略對源數據進行分片，以得到數據塊信息，并將所述數據塊信息發送至分片編碼模塊；

分片編碼模塊，用于接收所述數據塊信息，利用編碼對數據塊進行標記，得到數據塊及數據塊編碼信息，并將所述數據塊及數據塊編碼信息發送至并行化執行模塊；

并行化執行模塊，用于接收所述數據塊及數據塊編碼信息和需要執行的計算任務信息，對所述數據塊及數據塊編碼信息和所述需要執行的計算任務信息啟動并行計算任務，得到每個計算任務的執行結果，對每個計算任務進行編碼，得到任務編碼，將每個計算任務的執行結果和任務編碼對應，并將每個計算任務的執行結果發送至執行記錄模塊和修正判斷模塊；

執行記錄模塊，用于接收每個計算任務的執行結果，并將每個計算任務的執行結果記錄在執行日志中，并將所述執行日志發送至智能跳過模塊；

智能跳過模塊，用于接收所述執行日志，根據執行日志智能判定需要執行的計算任務信息，并將所述需要執行的計算任務信息發送給所述并行化執行模塊；

修正判斷模塊，用于接收每個計算任務的執行結果，根據所述執行結果判斷是否有計算任務執行失敗，當有計算任務執行失敗時，將執行失敗的計算任務信息發送至修正程序模塊；

修正程序模塊，用于接收執行失敗的計算任務信息，根據執行失敗的計算任務信息修正程序。

2.根據權利要求1所述的增量式數據并行化裝置，其特征在于，在所述分片編碼模塊中，對數據塊進行編碼包括以下步驟：

窮舉分片策略所有組合并進行編碼；

將編碼與數據塊關聯。

3.根據權利要求2所述的增量式數據并行處理裝置，其特征在于，所述分片策略包括以下方式：依據可并行的字段對數據進行分片和依據不同時間粒度對數據分片。

4.根據權利要求3所述的增量式數據并行處理裝置，其特征在于，在所述執行記錄模塊中，對每個計算任務的執行結果的記錄包括以下步驟：

記錄每個編碼數據塊的計算任務的執行結果；

將每個計算任務的執行結果寫入執行日志；

根據數據塊編碼和任務編碼將數據塊與任務關聯。

5.根據權利要求4所述的增量式數據并行處理裝置，其特征在于，在所述智能跳過模塊中，所述智能跳過模塊對執行日志進行瀏覽，自動跳過成功的執行結果，將失敗的執行結果與執行失敗的計算任務關聯，并將執行失敗的計算任務發送至所述并行化執行模塊。

6.一種基于權利要求1增量式數據并行處理裝置實現的增量式數據并行處理方法，其特征在于，包括：

S110，分片模塊根據分片策略對源數據進行分片，以得到數據塊信息，并將所述數據塊信息發送至分片編碼模塊；

S120，分片編碼模塊接收所述數據塊信息，利用編碼對數據塊進行標記，得到數據塊及數據塊編碼信息，并將所述數據塊及數據塊編碼信息發送至并行化執行模塊；

S130，并行化執行模塊接收所述數據塊及數據塊編碼信息，對所述數據塊及數據塊編碼信息啟動并行計算任務，得到每個計算任務的執行結果，對每個計算任務進行編碼，得到任務編碼，并將每個計算任務的執行結果發送至執行記錄模塊和修正判斷模塊；

S140，修正判斷模塊接收每個計算任務的執行結果，根據所述執行結果判斷是否有計算任務執行失敗，當有計算任務執行失敗時，將執行失敗的計算任務信息發送至修正程序模塊；

S150，修正程序模塊接收執行失敗的計算任務信息，根據執行失敗的計算任務信息修正程序；

S160，重啟增量式數據并行處理裝置，執行記錄模塊接收每個計算任務的執行結果，并將每個計算任務的執行結果記錄在執行日志中，并將所述執行日志發送至智能跳過模塊；

S170，智能跳過模塊接收所述執行日志，根據執行日志智能判定需要執行的計算任務信息，并將所述需要執行的計算任務信息發送給所述并行化執行模塊；

S180，并行化執行模塊接收所述需要執行的計算任務信息，并對所述需要執行的計算任務信息啟動并行計算任務，直至計算任務全部執行成功，以得到增量式數據并行處理結果。

7.根據權利要求6所述的增量式數據并行處理方法，其特征在于，在步驟S120中，利用編碼對所述數據塊進行標記包括以下步驟：

窮舉分片策略所有組合并進行編碼；

將編碼與數據塊關聯。