[發(fā)明專利]數(shù)據(jù)處理方法、數(shù)據(jù)處理系統(tǒng)、計算機設備及存儲介質有效
| 申請?zhí)枺?/td> | 201910995123.6 | 申請日: | 2019-10-18 |
| 公開(公告)號: | CN110769050B | 公開(公告)日: | 2021-12-21 |
| 發(fā)明(設計)人: | 魏萬敬;孫仕杰;于東海;高品;涂小剛;李本利;李永安 | 申請(專利權)人: | 騰訊科技(深圳)有限公司 |
| 主分類號: | H04L29/08 | 分類號: | H04L29/08 |
| 代理公司: | 北京三高永信知識產權代理有限責任公司 11138 | 代理人: | 邢惠童 |
| 地址: | 518057 廣東省深圳*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數(shù)據(jù)處理 方法 數(shù)據(jù)處理系統(tǒng) 計算機 設備 存儲 介質 | ||
1.一種數(shù)據(jù)處理方法,其特征在于,應用于數(shù)據(jù)處理系統(tǒng)中,所述數(shù)據(jù)處理系統(tǒng)包括多個計算節(jié)點,所述方法包括:
所述多個計算節(jié)點通過并行讀取的方式讀取相同數(shù)量的圖數(shù)據(jù),所述圖數(shù)據(jù)為按照固定大小對接收到的圖數(shù)據(jù)進行切分得到的;
所述多個計算節(jié)點分別確定計算節(jié)點所存儲的圖數(shù)據(jù)的頂點ID;
所述多個計算節(jié)點分別通過數(shù)據(jù)交互獲取其他計算節(jié)點所存儲的頂點ID;
所述多個計算節(jié)點將獲取到的每個頂點ID存儲為數(shù)組中一個數(shù)組條目,將所述每個頂點ID映射至對應數(shù)組條目的標號;
所述多個計算節(jié)點基于所述數(shù)組進行圖數(shù)據(jù)計算;
所述多個計算節(jié)點基于所述數(shù)組中數(shù)組條目以及數(shù)據(jù)條目的標號對圖數(shù)據(jù)計算結果進行解碼。
2.根據(jù)權利要求1所述的方法,其特征在于,所述多個計算節(jié)點分別確定計算節(jié)點所存儲的圖數(shù)據(jù)的頂點ID包括:
對于任一計算節(jié)點,所述計算節(jié)點枚舉所述計算節(jié)點內存儲的頂點ID,當所述計算節(jié)點內存儲的第一頂點ID已經(jīng)存儲于第一哈希表時,則忽略所述第一頂點ID,當所述計算節(jié)點內存儲的第一頂點ID未存儲于所述第一哈希表時,則將所述第一頂點ID存儲至所述第一哈希表。
3.根據(jù)權利要求1所述的方法,其特征在于,所述多個計算節(jié)點分別通過數(shù)據(jù)交互獲取其他計算節(jié)點所存儲的頂點ID包括:
對于任一計算節(jié)點,所述計算節(jié)點枚舉所述計算節(jié)點內存儲的頂點ID,確定所述計算節(jié)點內存儲的第一頂點ID所屬的計算節(jié)點,將所述第一頂點ID發(fā)送至所屬的計算節(jié)點;
所述計算節(jié)點將屬于所述計算節(jié)點的頂點ID發(fā)送至所述數(shù)據(jù)處理系統(tǒng)中的其他計算節(jié)點。
4.根據(jù)權利要求3所述的方法,其特征在于,所述將所述第一頂點ID發(fā)送至所屬的計算節(jié)點包括:
所述計算節(jié)點通過MPI點對點通信接口,將所述第一頂點ID發(fā)送至所屬的計算節(jié)點。
5.根據(jù)權利要求3所述的方法,其特征在于,所述計算節(jié)點將屬于所述計算節(jié)點的頂點ID發(fā)送至所述數(shù)據(jù)處理系統(tǒng)中的其他計算節(jié)點包括:
所述計算節(jié)點MPI集合通信接口,將屬于所述計算節(jié)點的頂點ID發(fā)送至所述數(shù)據(jù)處理系統(tǒng)中的其他計算節(jié)點。
6.根據(jù)權利要求1所述的方法,其特征在于,所述多個計算節(jié)點將獲取到的每個頂點ID存儲為數(shù)組中一個數(shù)組條目,將所述每個頂點ID映射至對應數(shù)組條目的標號之后,所述方法還包括:
將所述已存儲的頂點ID和所述數(shù)組的數(shù)組條目的標號之間的對應關系存儲至第二哈希表;
所述多個計算節(jié)點基于數(shù)組進行圖數(shù)據(jù)計算之后,所述方法還包括:
銷毀所述第二哈希表。
7.根據(jù)權利要求1所述的方法,其特征在于,所述多個計算節(jié)點基于所述數(shù)組中數(shù)組條目以及數(shù)據(jù)條目的標號對圖數(shù)據(jù)計算結果進行解碼包括:
所述多個計算節(jié)點分別根據(jù)所述數(shù)組中各個編碼后的頂點ID以及所述各個編碼后的頂點ID的數(shù)組中數(shù)組條目的標號之間的映射關系,將所述圖數(shù)據(jù)計算結果中的頂點ID映射為對應的數(shù)組條目的標號。
8.一種數(shù)據(jù)處理系統(tǒng),其特征在于,所述數(shù)據(jù)處理系統(tǒng)包括多個計算節(jié)點,
各個所述計算節(jié)點用于通過并行讀取的方式讀取相同數(shù)量的圖數(shù)據(jù),所述圖數(shù)據(jù)為按照固定大小對接收到的圖數(shù)據(jù)進行切分得到的,分別確定計算節(jié)點所存儲的圖數(shù)據(jù)的頂點ID,分別通過數(shù)據(jù)交互獲取其他計算節(jié)點所存儲的頂點ID,將獲取到的每個頂點ID存儲為數(shù)組中一個數(shù)組條目,將所述每個頂點ID映射至對應數(shù)組條目的標號,基于所述數(shù)組進行圖數(shù)據(jù)計算,基于所述數(shù)組對圖數(shù)據(jù)計算結果進行解碼。
9.根據(jù)權利要求8所述的系統(tǒng),其特征在于,對于任一計算節(jié)點,所述計算節(jié)點枚舉所述計算節(jié)點內存儲的頂點ID,當所述計算節(jié)點內存儲的第一頂點ID已經(jīng)存儲于第一哈希表時,則忽略所述第一頂點ID,當所述計算節(jié)點內存儲的第一頂點ID未存儲于所述第一哈希表時,則將所述第一頂點ID存儲至所述第一哈希表。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于騰訊科技(深圳)有限公司,未經(jīng)騰訊科技(深圳)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201910995123.6/1.html,轉載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)處理設備,數(shù)據(jù)處理方法,和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理電路、數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、數(shù)據(jù)處理控制方法
- 數(shù)據(jù)處理設備、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及計算機可讀取的記錄介質
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 在數(shù)據(jù)處理系統(tǒng)中基于所需電池壽命的計算機電源管理
- 在網(wǎng)絡數(shù)據(jù)處理系統(tǒng)中安裝軟件的方法和系統(tǒng)
- 遠程數(shù)據(jù)處理系統(tǒng)的配置
- 多個子據(jù)處理系統(tǒng)之間在線切換的方法
- 跨境多幣種數(shù)據(jù)處理系統(tǒng)和方法
- 用于批量和實時數(shù)據(jù)處理的設備、系統(tǒng)和方法
- 動態(tài)地調整品牌和平臺界面元素
- 基于銀行卡交易的數(shù)據(jù)處理方法以及數(shù)據(jù)處理系統(tǒng)
- 數(shù)據(jù)處理方法、裝置和設備
- 用于批量和實時數(shù)據(jù)處理的設備、系統(tǒng)和方法





