[發明專利]數據處理方法、數據處理系統、計算機設備及存儲介質

有效

• 申請號: 201910995123.6
• 申請日: 2019-10-18
• 公開（公告）號: CN110769050B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 魏萬敬;孫仕杰;于東海;高品;涂小剛;李本利;李永安
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢惠童

1.一種數據處理方法，其特征在于，應用于數據處理系統中，所述數據處理系統包括多個計算節點，所述方法包括：

所述多個計算節點通過并行讀取的方式讀取相同數量的圖數據，所述圖數據為按照固定大小對接收到的圖數據進行切分得到的；

所述多個計算節點分別確定計算節點所存儲的圖數據的頂點ID；

所述多個計算節點分別通過數據交互獲取其他計算節點所存儲的頂點ID；

所述多個計算節點將獲取到的每個頂點ID存儲為數組中一個數組條目，將所述每個頂點ID映射至對應數組條目的標號；

所述多個計算節點基于所述數組進行圖數據計算；

所述多個計算節點基于所述數組中數組條目以及數據條目的標號對圖數據計算結果進行解碼。

2.根據權利要求1所述的方法，其特征在于，所述多個計算節點分別確定計算節點所存儲的圖數據的頂點ID包括：

對于任一計算節點，所述計算節點枚舉所述計算節點內存儲的頂點ID，當所述計算節點內存儲的第一頂點ID已經存儲于第一哈希表時，則忽略所述第一頂點ID，當所述計算節點內存儲的第一頂點ID未存儲于所述第一哈希表時，則將所述第一頂點ID存儲至所述第一哈希表。

3.根據權利要求1所述的方法，其特征在于，所述多個計算節點分別通過數據交互獲取其他計算節點所存儲的頂點ID包括：

對于任一計算節點，所述計算節點枚舉所述計算節點內存儲的頂點ID，確定所述計算節點內存儲的第一頂點ID所屬的計算節點，將所述第一頂點ID發送至所屬的計算節點；

所述計算節點將屬于所述計算節點的頂點ID發送至所述數據處理系統中的其他計算節點。

4.根據權利要求3所述的方法，其特征在于，所述將所述第一頂點ID發送至所屬的計算節點包括：

所述計算節點通過MPI點對點通信接口，將所述第一頂點ID發送至所屬的計算節點。

5.根據權利要求3所述的方法，其特征在于，所述計算節點將屬于所述計算節點的頂點ID發送至所述數據處理系統中的其他計算節點包括：

所述計算節點MPI集合通信接口，將屬于所述計算節點的頂點ID發送至所述數據處理系統中的其他計算節點。

6.根據權利要求1所述的方法，其特征在于，所述多個計算節點將獲取到的每個頂點ID存儲為數組中一個數組條目，將所述每個頂點ID映射至對應數組條目的標號之后，所述方法還包括：

將所述已存儲的頂點ID和所述數組的數組條目的標號之間的對應關系存儲至第二哈希表；

所述多個計算節點基于數組進行圖數據計算之后，所述方法還包括：

銷毀所述第二哈希表。

7.根據權利要求1所述的方法，其特征在于，所述多個計算節點基于所述數組中數組條目以及數據條目的標號對圖數據計算結果進行解碼包括：

所述多個計算節點分別根據所述數組中各個編碼后的頂點ID以及所述各個編碼后的頂點ID的數組中數組條目的標號之間的映射關系，將所述圖數據計算結果中的頂點ID映射為對應的數組條目的標號。

8.一種數據處理系統，其特征在于，所述數據處理系統包括多個計算節點，

各個所述計算節點用于通過并行讀取的方式讀取相同數量的圖數據，所述圖數據為按照固定大小對接收到的圖數據進行切分得到的，分別確定計算節點所存儲的圖數據的頂點ID，分別通過數據交互獲取其他計算節點所存儲的頂點ID，將獲取到的每個頂點ID存儲為數組中一個數組條目，將所述每個頂點ID映射至對應數組條目的標號，基于所述數組進行圖數據計算，基于所述數組對圖數據計算結果進行解碼。

9.根據權利要求8所述的系統，其特征在于，對于任一計算節點，所述計算節點枚舉所述計算節點內存儲的頂點ID，當所述計算節點內存儲的第一頂點ID已經存儲于第一哈希表時，則忽略所述第一頂點ID，當所述計算節點內存儲的第一頂點ID未存儲于所述第一哈希表時，則將所述第一頂點ID存儲至所述第一哈希表。