[發(fā)明專利]數(shù)據(jù)處理方法、數(shù)據(jù)處理系統(tǒng)、計算機設備及存儲介質

有效

• 申請?zhí)枺?/td>: 201910995123.6
• 申請日: 2019-10-18
• 公開（公告）號: CN110769050B
• 公開（公告）日: 2021-12-21
• 發(fā)明（設計）人: 魏萬敬;孫仕杰;于東海;高品;涂小剛;李本利;李永安
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢惠童

1.一種數(shù)據(jù)處理方法，其特征在于，應用于數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)處理系統(tǒng)包括多個計算節(jié)點，所述方法包括：

所述多個計算節(jié)點通過并行讀取的方式讀取相同數(shù)量的圖數(shù)據(jù)，所述圖數(shù)據(jù)為按照固定大小對接收到的圖數(shù)據(jù)進行切分得到的；

所述多個計算節(jié)點分別確定計算節(jié)點所存儲的圖數(shù)據(jù)的頂點ID；

所述多個計算節(jié)點分別通過數(shù)據(jù)交互獲取其他計算節(jié)點所存儲的頂點ID；

所述多個計算節(jié)點將獲取到的每個頂點ID存儲為數(shù)組中一個數(shù)組條目，將所述每個頂點ID映射至對應數(shù)組條目的標號；

所述多個計算節(jié)點基于所述數(shù)組進行圖數(shù)據(jù)計算；

所述多個計算節(jié)點基于所述數(shù)組中數(shù)組條目以及數(shù)據(jù)條目的標號對圖數(shù)據(jù)計算結果進行解碼。

2.根據(jù)權利要求1所述的方法，其特征在于，所述多個計算節(jié)點分別確定計算節(jié)點所存儲的圖數(shù)據(jù)的頂點ID包括：

對于任一計算節(jié)點，所述計算節(jié)點枚舉所述計算節(jié)點內存儲的頂點ID，當所述計算節(jié)點內存儲的第一頂點ID已經(jīng)存儲于第一哈希表時，則忽略所述第一頂點ID，當所述計算節(jié)點內存儲的第一頂點ID未存儲于所述第一哈希表時，則將所述第一頂點ID存儲至所述第一哈希表。

3.根據(jù)權利要求1所述的方法，其特征在于，所述多個計算節(jié)點分別通過數(shù)據(jù)交互獲取其他計算節(jié)點所存儲的頂點ID包括：

對于任一計算節(jié)點，所述計算節(jié)點枚舉所述計算節(jié)點內存儲的頂點ID，確定所述計算節(jié)點內存儲的第一頂點ID所屬的計算節(jié)點，將所述第一頂點ID發(fā)送至所屬的計算節(jié)點；

所述計算節(jié)點將屬于所述計算節(jié)點的頂點ID發(fā)送至所述數(shù)據(jù)處理系統(tǒng)中的其他計算節(jié)點。

4.根據(jù)權利要求3所述的方法，其特征在于，所述將所述第一頂點ID發(fā)送至所屬的計算節(jié)點包括：

所述計算節(jié)點通過MPI點對點通信接口，將所述第一頂點ID發(fā)送至所屬的計算節(jié)點。

5.根據(jù)權利要求3所述的方法，其特征在于，所述計算節(jié)點將屬于所述計算節(jié)點的頂點ID發(fā)送至所述數(shù)據(jù)處理系統(tǒng)中的其他計算節(jié)點包括：

所述計算節(jié)點MPI集合通信接口，將屬于所述計算節(jié)點的頂點ID發(fā)送至所述數(shù)據(jù)處理系統(tǒng)中的其他計算節(jié)點。

6.根據(jù)權利要求1所述的方法，其特征在于，所述多個計算節(jié)點將獲取到的每個頂點ID存儲為數(shù)組中一個數(shù)組條目，將所述每個頂點ID映射至對應數(shù)組條目的標號之后，所述方法還包括：

將所述已存儲的頂點ID和所述數(shù)組的數(shù)組條目的標號之間的對應關系存儲至第二哈希表；

所述多個計算節(jié)點基于數(shù)組進行圖數(shù)據(jù)計算之后，所述方法還包括：

銷毀所述第二哈希表。

7.根據(jù)權利要求1所述的方法，其特征在于，所述多個計算節(jié)點基于所述數(shù)組中數(shù)組條目以及數(shù)據(jù)條目的標號對圖數(shù)據(jù)計算結果進行解碼包括：

所述多個計算節(jié)點分別根據(jù)所述數(shù)組中各個編碼后的頂點ID以及所述各個編碼后的頂點ID的數(shù)組中數(shù)組條目的標號之間的映射關系，將所述圖數(shù)據(jù)計算結果中的頂點ID映射為對應的數(shù)組條目的標號。

8.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理系統(tǒng)包括多個計算節(jié)點，

各個所述計算節(jié)點用于通過并行讀取的方式讀取相同數(shù)量的圖數(shù)據(jù)，所述圖數(shù)據(jù)為按照固定大小對接收到的圖數(shù)據(jù)進行切分得到的，分別確定計算節(jié)點所存儲的圖數(shù)據(jù)的頂點ID，分別通過數(shù)據(jù)交互獲取其他計算節(jié)點所存儲的頂點ID，將獲取到的每個頂點ID存儲為數(shù)組中一個數(shù)組條目，將所述每個頂點ID映射至對應數(shù)組條目的標號，基于所述數(shù)組進行圖數(shù)據(jù)計算，基于所述數(shù)組對圖數(shù)據(jù)計算結果進行解碼。

9.根據(jù)權利要求8所述的系統(tǒng)，其特征在于，對于任一計算節(jié)點，所述計算節(jié)點枚舉所述計算節(jié)點內存儲的頂點ID，當所述計算節(jié)點內存儲的第一頂點ID已經(jīng)存儲于第一哈希表時，則忽略所述第一頂點ID，當所述計算節(jié)點內存儲的第一頂點ID未存儲于所述第一哈希表時，則將所述第一頂點ID存儲至所述第一哈希表。