[發明專利]一種圖數據處理方法和裝置

在審

• 申請號: 201910567904.5
• 申請日: 2019-06-27
• 公開（公告）號: CN110427359A
• 公開（公告）日: 2019-11-08
• 發明（設計）人: 路智欽
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 宋薇薇

本發明提供一種圖數據處理方法，包括以下步驟：通過圖數據解析工具提取分布式存儲的圖數據，獲取所述圖數據的頂點屬性值、頂點ID值并獲取所述圖數據的每條邊的源頂點值和目的頂點值；通過圖數據格式轉換工具將頂點屬性值、頂點ID值形成頂點數據記錄文件并將每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式；以及通過所述分布式計算工具根據點數據記錄文件和邊數據記錄文件進行構圖，并根據所述圖實例對象進行計算。通過本發明，可以將圖數據的分布式存儲和分布式計算結合起來，實現一站式圖數據處理。

技術領域

本發明涉及計算機領域，并且更具體地，涉及一種圖數據處理方法和裝置。

背景技術

在大數據時代，處理復雜關系構成的圖數據時，圖數據的存儲和計算是通過不同的組件實現的，大多是利用SparkSQL分析Neo4j單機存儲的圖數據進行計算操作，而這限制了圖數據的存儲閾值，因為Neo4j不是分布式圖數據庫。雖然某些圖數據庫系統可以對圖數據進行簡單計算，但都是通過單個節點進行，效率低下，一旦數據量達到某個閾值，將導致節點內存不足，極大增加計算時間甚至造成該節點宕機，影響服務器性能，增加服務器維護成本。

于是，需要實現圖數據的分布式存儲和計算，以降低進行圖數據處理所消耗的時空成本，但是目前并沒有很好的能夠實現圖數據分布式存儲和計算的一體化工具。而JanusGraph數據庫可以實現圖數據的分布式存儲，SparkGraphX能夠實現圖數據的分布式計算，但SparkGraphX并不能夠直接處理JanusGraph數據庫中存儲的圖數據，因此需要一種方法或裝置來實現基于JanusGraph和SparkGraphX的圖數據處理。

發明內容

鑒于此，本發明實施例的目的在于提出一種圖數據處理方法和裝置，將圖數據的分布式存儲和分布式計算結合起來，實現一站式圖數據處理，提升圖數據的處理效率和計算速度。

基于上述目的，本發明實施例的一方面提供了一種圖數據處理方法，包括以下步驟：

通過圖數據解析工具提取分布式存儲的圖數據，獲取所述圖數據的頂點屬性值、頂點ID值并獲取所述圖數據的每條邊的源頂點值和目的頂點值；

通過圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點數據記錄文件并將所述每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式；以及

通過所述分布式計算工具根據所述頂點數據記錄文件和所述邊數據記錄文件進行構圖，并根據所述圖實例對象進行計算。

在一些實施方式中，所述圖數據解析工具配置為從JanusGraph數據庫中提取分布式存儲的圖數據。

在一些實施方式中，所述分布式計算工具包括SparkGraphX圖數據計算工具。

在一些實施方式中，通過所述圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點數據記錄文件并將所述每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式包括：

通過所述圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點ID+分隔符+頂點屬性值的頂點數據記錄文件。

在一些實施方式中，通過所述圖數據格式轉換工具將所述頂點屬性值、頂點ID值形成頂點數據記錄文件并將所述每條邊的源頂點值和目的頂點值形成邊數據記錄文件，以得到分布式計算工具可識別的數據格式還包括：

通過所述圖數據格式轉換工具將所述每條邊的源頂點值和目的頂點值形成源頂點值+分隔符+目的頂點值的邊數據記錄文件。

在一些實施方式中，所述方法還包括：

通過圖數據清洗工具對所述圖數據格式轉換工具形成的所述頂點數據記錄文件和所述邊數據記錄文件進行數據清洗，除去無效的和無意義的字段。