[發明專利]一種圖數據處理方法和裝置在審
| 申請號： | 201910567904.5 | 申請日： | 2019-06-27 |
| 公開（公告）號： | CN110427359A | 公開（公告）日： | 2019-11-08 |
| 發明（設計）人： | 路智欽 | 申請（專利權）人： | 蘇州浪潮智能科技有限公司 |
| 主分類號： | G06F16/215 | 分類號： | G06F16/215;G06F16/25 |
| 代理公司： | 北京連和連知識產權代理有限公司 11278 | 代理人： | 宋薇薇 |
| 地址： | 215100 江蘇省蘇州市吳*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 圖數據 數據處理 分布式計算工具 數據記錄文件 分布式存儲 頂點屬性 記錄文件 條邊 方法和裝置 分布式計算 頂點數據 格式轉換 實例對象 數據格式 點數據 可識別 一站式 解析 | ||
1.一種圖數據處理方法，其特征在于，包括以下步驟：
通過圖數據解析工具提取分布式存儲的圖數據，獲取所述圖數據的頂點屬性值、頂點ID值并獲取所述圖數據的每條邊的源頂點值和目的頂點值；
通過圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點數據記錄文件并將所述每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式；以及
通過所述分布式計算工具根據所述頂點數據記錄文件和所述邊數據記錄文件進行構圖，并根據所述圖實例對象進行計算。
2.根據權利要求1所述的方法，其特征在于，所述圖數據解析工具配置為從JanusGraph數據庫中提取分布式存儲的圖數據。
3.根據權利要求2所述的方法，其特征在于，所述分布式計算工具包括SparkGraphX圖數據計算工具。
4.根據權利要求3所述的方法，其特征在于，通過所述圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點數據記錄文件并將所述每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式包括：
通過所述圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點ID+分隔符+頂點屬性值的頂點數據記錄文件。
5.根據權利要求3所述的方法，其特征在于，通過所述圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點數據記錄文件并將所述每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式還包括：
通過所述圖數據格式轉換工具將所述每條邊的源頂點值和目的頂點值形成源頂點值+分隔符+目的頂點值的邊數據記錄文件。
6.根據權利要求3所述的方法，其特征在于，所述方法還包括：
通過圖數據清洗工具對所述圖數據格式轉換工具形成的所述頂點數據記錄文件和所述邊數據記錄文件進行數據清洗，除去無效的和無意義的字段。
7.根據權利要求6所述的方法，其特征在于，所述方法還包括：
將所述圖數據清洗工具處理好的數據導入到HDFS系統中進行持久化圖數據操作。
8.根據權利要求7所述的方法，其特征在于，所述SparkGraphX配置為基于持久化圖數據操作后的所述邊數據記錄文件和所述頂點數據記錄文件進行構圖。
9.一種圖數據處理裝置，其特征在于，包括：
至少一個處理器；和
存儲器，所述存儲器存儲有處理器可運行的程序代碼，所述程序代碼在被處理器運行時實施如權利要求1-8中任一項所述的方法。
10.根據權利要求9所述的裝置，其特征在于，所述系統基于JanusGraph數據庫和SparkGraphX圖數據計算工具。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司，未經蘇州浪潮智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910567904.5/1.html，轉載請聲明來源鉆瓜專利網。
