[發(fā)明專利]一種數據處理方法、裝置、設備及可讀存儲介質

有效

• 申請?zhí)枺?/td>: 202010664232.2
• 申請日: 2020-07-10
• 公開（公告）號: CN111858630B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設計）人: 韓海躍;梅國強;王江為
• 申請（專利權）人: 山東云海國創(chuàng)云計算裝備產業(yè)創(chuàng)新中心有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郄晨芳

本發(fā)明公開了一種數據處理方法、裝置、設備及計算機可讀存儲介質，該方法包括：獲取目標數據；對目標數據進行計算處理，得到第一數據；將第一數據發(fā)送至各個其他數據處理設備，并接收各個其他數據處理設備分別發(fā)送的各個第二數據；利用第一數據和第二數據更新目標數據，并統計處理次數；當處理次數達到預設閾值時，確定完成數據處理；該方法將需要處理的數據分為多個部分并由各個數據處理設備處理對應的一個部分，并在各個數據處理設備間進行數據同步。因此可以利用多個數據處理設備并行地對需要處理的數據進行處理，提高了數據處理速度和效率。

技術領域

本發(fā)明涉及數據處理技術領域，特別涉及一種數據處理方法、數據處理裝置、數據處理設備及計算機可讀存儲介質。

背景技術

大數據時代，圖作為一種基礎的數據表示方式，廣泛應用于各類算法如深度學習，用戶推薦等。目前，圖的規(guī)模往往達到數千萬至數億節(jié)點量級，圖的邊(節(jié)點與節(jié)點的聯系)信息達到數十億的規(guī)模。相關技術在進行圖的迭代計算時，通常將圖按照源節(jié)點和目的節(jié)點的數量進行分塊，在分塊后利用單個數據處理設備將各個分塊進行并行計算，或者是在各個分塊內劃分多個通道，對各個通道進行并行計算，以提高數據處理速度。由于單個數據處理設備計算能力有限，及時進行了分塊并行或通道并行的計算方法，但是數據處理速度較慢，處理效率較低。

因此，如何解決相關技術存在的數據處理速度較慢，處理效率較低的問題，是本領域技術人員需要解決的技術問題。

發(fā)明內容

有鑒于此，本發(fā)明的目的在于提供一種數據處理方法、數據處理裝置、數據處理設備及計算機可讀存儲介質，解決了相關技術存在的數據處理速度較慢，處理效率較低的問題。

為解決上述技術問題，本發(fā)明提供了一種數據處理方法，包括：

獲取目標數據；

對所述目標數據進行計算處理，得到第一數據；

將所述第一數據發(fā)送至各個其他數據處理設備，并接收各個所述其他數據處理設備分別發(fā)送的各個第二數據；

利用所述第一數據和所述第二數據更新所述目標數據，并統計處理次數；

當所述處理次數達到預設閾值時，確定完成數據處理。

可選地，所述對所述目標數據進行計算處理，得到第一數據，包括：

從所述目標數據中提取多個源節(jié)點地址信息，并分別選取多個所述源節(jié)點地址信息中的低位數據作為通道分配信息；

對多個處理通道進行排序，并根據排序結果建立所述通道分配信息與所述處理通道之間的對應關系；

根據所述對應關系，對各個所述源節(jié)點地址信息對應的目標子數據進行通道分配；

在各個所述處理通道中，利用處理參數對所述目標子數據進行計算處理，得到第一子數據；

利用所述第一子數據得到所述第一數據。

可選地，在接收各個所述其他數據處理設備分別發(fā)送的各個第二數據之后，還包括：

利用所述第一數據和所述第二數據對所述處理參數進行更新。

可選地，所述從所述目標數據中提取多個源節(jié)點地址信息，包括：

在所述目標數據中確定目標數據塊，并從所述目標數據塊中提取多個所述源節(jié)點地址信息；

相應的，所述利用所述第一子數據得到所述第一數據，包括：

更新所述目標數據塊；

在得到所述目標數據對應所有的所述第一子數據后，利用所有的所述第一子數據生成所述第一數據。