[發明專利]一種圖數據庫中圖計算方法及裝置

有效

• 申請號: 202011078758.9
• 申請日: 2020-10-10
• 公開（公告）號: CN112307270B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 高艷濤
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903;G06F16/27
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種圖數據庫中圖計算方法及裝置，圖數據庫采用Gremlin Server部署模式，HBase作為存儲后端；首先，啟動部署模式，客戶端向部署模式提交圖遍歷任務；其次，部署模式通過ZooKeeper查詢存儲表所涉及的區域信息；最后，部署模式將客戶端發過來的圖遍歷任務計算下推到HBase集群中各區域所在節點；并利用Hbase中的機制加速圖遍歷任務,HBase集群通過部署模式將圖遍歷任務發送給客戶端。本發明能夠在OLTP計算模式下，基于HBase Coprocessor機制，將圖遍歷計算下推到HBase集群中，充分利用HBase集群算力，將計算結果傳輸給客戶端，減少了網絡帶寬消耗。

技術領域

本發明涉及圖計算領域，特別是涉及一種圖數據庫中圖計算方法及裝置。

背景技術

JanusGraph一個高度可擴展的分布式圖數據庫，專門用于存儲和查詢包含數千億個分布在多機群集中的極點和邊緣的圖形；圖數據庫的基本含義是以“圖”這種數據結構存儲和查詢數據,而不是存儲圖片的數據庫。圖(Graph)是表示實體與實體之間的關系的數學邏輯對象,在數學中被表示為一個G=(V,E)的二元組,其自身由N個頂點(V=vertex)和M個邊(E=edge)構成,每個頂點對應著多個邊(=M),每個邊又連接著兩個頂點,邊可以存在方向,如果圖所包含的邊帶有方向,稱為有向圖(oriented graph),反之為無向圖(undirectedgraph)。圖數據庫它善于處理大量的、復雜的、互聯的、多變的網狀數據,其效率遠遠高于傳統的關系型數據庫的百倍、千倍甚至萬倍。

JanuGraph有多種存儲后端可供選擇:Apache Cassandra、Apache HBase等。當前JanusGraph在OLTP計算模式下，JanusGraph Gremlin Server從HBase拉取存儲圖加載到內存中，在Gremlin Server所在JVM中進行遍歷和計算，這是一種單點遍歷和計算；當前的計算模式下，JanusGraph Gremlin Server把HBase當成存儲黑盒看待，并不知道表的劃分及表在Region上的分布情況。這種計算方式，需要把數據傳輸到Gremlin Server所在節點，無法利用HBase集群的計算能力，而且需要消耗大量的網絡帶寬。

發明內容

本發明主要解決的技術問題是提供一種圖數據庫中圖計算方法及裝置，能夠在JanusGraph OLTP計算模式下，基于HBase Coprocessor機制，將圖遍歷計算下推到HBase集群中，充分利用HBase集群算力，將計算結果傳輸給Gremlin Server，減少了網絡帶寬消耗。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種圖數據庫中圖計算方法，包括：第一步，圖數據庫啟動部署模式，客戶端向圖數據庫中提交圖遍歷任務以及查詢腳本或字節碼；部署模式在圖計算框架中的分析型計算模式下實現圖遍歷任務；第二步，部署模式在分布式存儲系統集群中根據所述腳本或字節碼通過應用程序協調服務查詢存儲表所涉及的區域信息；第三步，部署模式將客戶端發過來的圖遍歷任務下推到分布式存儲系統集群中各區域所在節點；第四步，部署模式利用分布式存儲系統的機制加速圖遍歷任務，并且部署模式將圖遍歷任務的結果返回給客戶端。

進一步，所述第一步中，圖計算框架中分析型計算模式為所述圖計算框架中圖遍歷被抽象成若干個圖遍歷任務。

進一步，所述圖遍歷任務下推包括簡單圖遍歷任務下推和復雜圖遍歷任務下推。

進一步，所述簡單圖遍歷任務下推包括圖遍歷任務下推后，部署模式通過所述應用程序協調服務查詢圖遍歷任務中涉及的區域，并在所述區域所在節點運行圖遍歷任務，并直接匯總圖遍歷任務結果，將圖遍歷任務結果求和發送給客戶端。

進一步，所述復雜圖遍歷任務下推時，所述復雜圖遍歷任務中圖遍歷任務被拆分在若干區域中，若干區域進行通信并執行圖遍歷任務，部署模式將圖遍歷任務結果發送給客戶端。

進一步，所述若干區域進行通信并執行圖遍歷任務包括以下步驟：