[發明專利]一種基于圖數據庫的分布式系統

在審

• 申請號: 202011241706.9
• 申請日: 2020-11-09
• 公開（公告）號: CN112269887A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 方小牛;田寶同;張玄;段歡歡
• 申請（專利權）人: 安徽華典大數據科技有限公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53;G06F16/538;G06F16/27
• 代理公司: 北京同輝知識產權代理事務所(普通合伙) 11357
• 代理人: 王依

本發明公開一種基于圖數據庫的分布式系統，包括客戶端、數據庫管理層、計算層、存儲層、資源管理模塊和數據導入層，計算層包括若干個分布式計算集群，分布式計算集群由查詢控制節點和圖查詢節點組成，對存儲層提取的數據進行篩選、聚合、排序等后續處理，存儲層包括存儲控制節點和圖存儲節點，圖存儲節點承擔圖數據的存儲、查詢和更新操作。本發明通過算子下推的方案較好地利用了圖數據的鄰近性來提高性能，同時也減少了存儲層和計算層數據通信帶來的性能開銷，通過存儲層和計算層分離的思路解決了分布式圖數據可擴展性的問題，存儲層則通過鍵值對結合哈希分區的思路解決了數據存儲和分片的難題。

技術領域

本發明涉及圖數據庫領域，具體的是一種基于圖數據庫的分布式系統。

背景技術

隨著互聯網時代的不斷發展，全球因特網每秒鐘都在產生海量的數據集，這些數據集往往具有非結構化、沒有固定格式、數據之間關系復雜等特點。為了更高效地處理和分析這些數據，近些年來大數據技術、分布式計算、數據挖掘、AI等技術蓬勃發展。圖數據庫作為一種新型的專門為存儲圖數據而設計的數據庫，能夠很好適應這種數據應用場景。圖數據可以以圖的形式進行聲明和定義的數據，所有可以被關系型數據庫抽象和存儲的數據都能被無障礙的轉化為圖數據。同時，圖數據是以一個或數個點為起點，以邊導向向外進行遍歷操作，這種有規律的遍歷具有非常好的數據臨近性，這使得在遍歷操作之前可以做一些預處理操作來加速遍歷，在分布式場景下，圖數據的這種特性也可以幫助提升查詢性能。

目前，圖數據庫的應用中存在下列問題：(1)現有的圖數據庫都是簡單的在其它類型數據庫存儲引擎的基礎上進行語義封裝，不能在存儲層就考慮到圖數據的鄰近性和關系查詢，其性能得不到本質的提升；(2)現有的查詢語言在對圖數據查詢的表達上有著先天不足，不具備基于圖的思想來查詢數據庫的能力，不足以勝任圖數據庫的查詢工作。

發明內容

為解決上述背景技術中提到的不足，本發明的目的在于提供一種基于圖數據庫的分布式系統，通過算子下推的方案較好地利用了圖數據的鄰近性來提高性能，同時也減少了存儲層和計算層數據通信帶來的性能開銷，通過存儲層和計算層分離的思路解決了分布式圖數據可擴展性的問題，存儲層則通過鍵值對結合哈希分區的思路解決了數據存儲和分片的難題。

本發明的目的可以通過以下技術方案實現：

一種基于圖數據庫的分布式系統，包括客戶端、數據庫管理層、計算層、存儲層、資源管理模塊和數據導入層；

客戶端與數據庫管理層交互，完成數據庫登錄鑒權流程，客戶端與計算層互交，用于發送查詢語句、接受查詢結果元數據、根據元數據提取結果數據；

數據庫管理層用于提供數據庫Web GUI操作接口，包括登錄、查詢、開關機、狀態圖形化展示，具備用戶鑒權和負載均衡能力；

計算層包括若干個分布式計算集群，分布式計算集群由查詢控制節點和圖查詢節點組成，分布式計算集群用于查詢請求的執行和調度以及數據庫事務控制，計算層建立在存儲層之上，對存儲層提取的數據進行篩選、聚合、排序等后續處理，最后向客戶端輸出結果；

存儲層包括存儲控制節點和圖存儲節點，存儲控制節點負責管理分片規則、產生事務id和管理存儲節點的運行狀態，圖存儲節點承擔圖數據的存儲、查詢和更新操作；

資源管理模塊根據數據庫管理層發來的命令在物理節點上啟動對應的數據庫進程；

數據導入層用于將外部的數據源進行適配轉化，然后形成適應存儲層鍵值對存儲形式的圖數據。

優選地，控制節點包括主查詢控制節點和從查詢控制節點，主查詢控制節點用于用戶會話管理、查詢語句詞法語法語義分析、邏輯執行計劃的生成、物理執行計劃的生成、查詢語句執行狀態更新、結果回報、圖查詢節點狀態檢測；從查詢控制節點內部邏輯和主查詢控制節點相同，當主控制節點離線時，從控制節點將會自動轉化為主控制節點并接管整個集群；