[發明專利]數據處理方法、數據處理系統、計算機設備及存儲介質

有效

• 申請號: 201910995123.6
• 申請日: 2019-10-18
• 公開（公告）號: CN110769050B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 魏萬敬;孫仕杰;于東海;高品;涂小剛;李本利;李永安
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢惠童

本申請公開了一種數據處理方法、數據處理系統、計算機設備及存儲介質，屬于圖計算技術領域。本申請實施例提供的方法，通過采用分布式架構的數據處理系統，由數據處理系統內的各個計算節點來存儲部分圖數據，并在編碼階段，在各個計算節點先進行一次聚合，再進行計算節點之間的頂點ID的交互，以完成第二次聚合，通過上述兩次聚合過程，從而使得各個計算節點都能夠存儲有全量的頂點ID，則在解碼階段無需通信即可以完成解碼，可降低整體的通信量，提高算法執行效率。

技術領域

本申請涉及圖計算技術領域，特別涉及一種數據處理方法、數據處理系統、計算機設備及存儲介質。

背景技術

圖數據的編解碼對圖計算具有重要作用。一般而言，在常用的圖數據處理過程中，圖數據的編碼和解碼的流程通常為先進行圖數據的頂點ID(Identity，編號)進行編碼，隨后執行具體業務場景下的圖算法，最后將輸出的數據進行解碼。編解碼具體是將圖數據的頂點ID轉換為與頂點數量相關的數據表示，以縮小頂點ID對應的數值范圍，從而提高算法執行效率。

然而，圖數據處理過程中的編解碼，主要存在以下缺點：在大規模圖場景下，由于需要較多的計算資源，而各個計算資源在進行編碼時通常是單一計算資源進行，在解碼過程中就需要各個計算資源之間進行通信，以獲知各個編碼后的頂點ID所對應的原始頂點ID，造成計算資源之間的通信量較為龐大，最終導致算法執行效率偏低。

發明內容

本申請實施例提供了一種數據處理方法、數據處理系統、計算機設備及存儲介質，可以降低整體的通信量，提高計算效率。所述技術方案如下：

一方面，提供了一種數據處理方法，應用于數據處理系統中，所述數據處理系統包括多個計算節點，所述方法包括：

所述多個計算節點讀取圖數據；

所述多個計算節點分別確定計算節點所存儲的圖數據的頂點ID；

所述多個計算節點分別通過數據交互獲取其他計算節點所存儲的頂點ID；

所述多個計算節點將獲取到的每個頂點ID存儲為數組中一個數組條目，將所述每個頂點ID映射至對應數組條目的標號；

所述多個計算節點基于所述數組進行圖數據計算；

所述多個計算節點基于所述數組中數組條目以及數據條目的標號對圖數據計算結果進行解碼。

一方面，提供了一種數據處理系統，所述數據處理系統包括多個計算節點，

各個所述計算節點用于讀取圖數據，分別確定計算節點所存儲的圖數據的頂點ID，分別通過數據交互獲取其他計算節點所存儲的頂點ID，將獲取到的每個頂點ID存儲為數組中一個數組條目，將所述每個頂點ID映射至對應數組條目的標號；基于所述數組進行圖數據計算；基于所述數組中數組條目以及數據條目的標號對圖數據計算結果進行解碼。

在一種可能實現方式中，對于任一計算節點，所述計算節點枚舉所述計算節點內存儲的頂點ID，當所述計算節點內存儲的第一頂點ID已經存儲于第一哈希表時，則忽略所述第一頂點ID，當所述計算節點內存儲的第一頂點ID未存儲于所述第一哈希表時，則將所述第一頂點ID存儲至所述第一哈希表。

在一種可能實現方式中，對于任一計算節點，所述計算節點枚舉所述計算節點內存儲的頂點ID，確定所述計算節點內存儲的第一頂點ID所屬的計算節點，將所述第一頂點ID發送至所屬的計算節點；

所述計算節點將屬于所述計算節點的頂點ID發送至所述數據處理系統中的其他計算節點。

在一種可能實現方式中，所述計算節點通過MPI點對點通信接口，將所述第一頂點ID發送至所屬的計算節點。

在一種可能實現方式中，所述計算節點MPI集合通信接口，將屬于所述計算節點的頂點ID發送至所述數據處理系統中的其他計算節點