[發明專利]一種數據處理方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202010664232.2
• 申請日: 2020-07-10
• 公開（公告）號: CN111858630B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 韓海躍;梅國強;王江為
• 申請（專利權）人: 山東云海國創云計算裝備產業創新中心有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郄晨芳

1.一種數據處理方法，其特征在于，應用于數據處理設備，包括：

獲取目標數據；所述目標數據為將需要處理的數據分為多個部分后中的任意一個部分，所述多個部分各自分別對應于一個數據處理設備；

對所述目標數據進行計算處理，得到第一數據；

將所述第一數據發送至各個其他數據處理設備，并接收各個所述其他數據處理設備分別發送的各個第二數據，以使在各個數據處理設備間進行數據同步，利用多個數據處理設備并行地對需要處理的數據進行處理；

利用所述第一數據和所述第二數據更新所述目標數據，并統計處理次數；

當所述處理次數達到預設閾值時，確定完成數據處理；

所述對所述目標數據進行計算處理，得到第一數據，包括：

從所述目標數據中提取多個源節點地址信息，并分別選取多個所述源節點地址信息中的低位數據作為通道分配信息；

對多個處理通道進行排序，并根據排序結果建立所述通道分配信息與所述處理通道之間的對應關系；

根據所述對應關系，對各個所述源節點地址信息對應的目標子數據進行通道分配；

在各個所述處理通道中，利用處理參數對所述目標子數據進行計算處理，得到第一子數據；

利用所述第一子數據得到所述第一數據；

在接收各個所述其他數據處理設備分別發送的各個第二數據之后，還包括：

利用所述第一數據和所述第二數據對所述處理參數進行更新；

在接收各個所述其他數據處理設備分別發送的各個第二數據之后，還包括：

根據所述第二數據的接收情況更新標志信息；

當所述標志信息為全部獲取狀態時，執行利用所述第一數據和所述第二數據更新所述目標數據的步驟。

2.根據權利要求1所述的數據處理方法，其特征在于，所述從所述目標數據中提取多個源節點地址信息，包括：

在所述目標數據中確定目標數據塊，并從所述目標數據塊中提取多個所述源節點地址信息；

相應的，所述利用所述第一子數據得到所述第一數據，包括：

更新所述目標數據塊；

在得到所述目標數據對應所有的所述第一子數據后，利用所有的所述第一子數據生成所述第一數據。

3.根據權利要求1所述的數據處理方法，其特征在于，所述獲取目標數據，包括：

獲取由服務器發送的原始數據，并利用預設信息對所述原始數據進行過濾，得到所述目標數據；

將所述原始數據發送給所述其他數據處理設備。

4.根據權利要求1所述的數據處理方法，其特征在于，所述獲取目標數據，包括：

獲取目標數據處理設備發送的原始數據，并利用預設信息對所述原始數據進行過濾，得到所述目標數據。