[發(fā)明專利]一種基于圖數(shù)據(jù)庫的分布式系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011241706.9
• 申請日: 2020-11-09
• 公開（公告）號: CN112269887A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 方小牛;田寶同;張玄;段歡歡
• 申請（專利權(quán)）人: 安徽華典大數(shù)據(jù)科技有限公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53;G06F16/538;G06F16/27
• 代理公司: 北京同輝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11357
• 代理人: 王依

1.一種基于圖數(shù)據(jù)庫的分布式系統(tǒng)，其特征在于，包括客戶端、數(shù)據(jù)庫管理層、計(jì)算層、存儲層、資源管理模塊和數(shù)據(jù)導(dǎo)入層；

所述客戶端與數(shù)據(jù)庫管理層交互，完成數(shù)據(jù)庫登錄鑒權(quán)流程，所述客戶端與計(jì)算層互交，用于發(fā)送查詢語句、接受查詢結(jié)果元數(shù)據(jù)、根據(jù)元數(shù)據(jù)提取結(jié)果數(shù)據(jù)；

所述數(shù)據(jù)庫管理層用于提供數(shù)據(jù)庫Web GUI操作接口，包括登錄、查詢、開關(guān)機(jī)、狀態(tài)圖形化展示，具備用戶鑒權(quán)和負(fù)載均衡能力；

所述計(jì)算層包括若干個(gè)分布式計(jì)算集群，所述分布式計(jì)算集群由查詢控制節(jié)點(diǎn)和圖查詢節(jié)點(diǎn)組成，所述分布式計(jì)算集群用于查詢請求的執(zhí)行和調(diào)度以及數(shù)據(jù)庫事務(wù)控制，所述計(jì)算層建立在存儲層之上，對存儲層提取的數(shù)據(jù)進(jìn)行篩選、聚合、排序等后續(xù)處理，最后向客戶端輸出結(jié)果；

所述存儲層包括存儲控制節(jié)點(diǎn)和圖存儲節(jié)點(diǎn)，所述存儲控制節(jié)點(diǎn)負(fù)責(zé)管理分片規(guī)則、產(chǎn)生事務(wù)id和管理存儲節(jié)點(diǎn)的運(yùn)行狀態(tài)，所述圖存儲節(jié)點(diǎn)承擔(dān)圖數(shù)據(jù)的存儲、查詢和更新操作；

所述資源管理模塊根據(jù)數(shù)據(jù)庫管理層發(fā)來的命令在物理節(jié)點(diǎn)上啟動(dòng)對應(yīng)的數(shù)據(jù)庫進(jìn)程；

所述數(shù)據(jù)導(dǎo)入層用于將外部的數(shù)據(jù)源進(jìn)行適配轉(zhuǎn)化，然后形成適應(yīng)存儲層鍵值對存儲形式的圖數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的基于圖數(shù)據(jù)庫的分布式系統(tǒng)，其特征在于，所述控制節(jié)點(diǎn)包括主查詢控制節(jié)點(diǎn)和從查詢控制節(jié)點(diǎn)，所述主查詢控制節(jié)點(diǎn)用于用戶會(huì)話管理、查詢語句詞法語法語義分析、邏輯執(zhí)行計(jì)劃的生成、物理執(zhí)行計(jì)劃的生成、查詢語句執(zhí)行狀態(tài)更新、結(jié)果回報(bào)、圖查詢節(jié)點(diǎn)狀態(tài)檢測；所述從查詢控制節(jié)點(diǎn)內(nèi)部邏輯和主查詢控制節(jié)點(diǎn)相同，當(dāng)主控制節(jié)點(diǎn)離線時(shí)，從控制節(jié)點(diǎn)將會(huì)自動(dòng)轉(zhuǎn)化為主控制節(jié)點(diǎn)并接管整個(gè)集群。

3.根據(jù)權(quán)利要求1所述的基于圖數(shù)據(jù)庫的分布式系統(tǒng)，其特征在于，所述圖查詢節(jié)點(diǎn)負(fù)責(zé)接收從控制節(jié)點(diǎn)發(fā)來的算子執(zhí)行命令，并且在本機(jī)調(diào)度執(zhí)行算子，所述算子為計(jì)算層中調(diào)度和執(zhí)行的基本單位，所述算子包括計(jì)算層查詢算子、更新算子和存儲層查詢算子。

4.根據(jù)權(quán)利要求3所述的基于圖數(shù)據(jù)庫的分布式系統(tǒng)，其特征在于，計(jì)算層算子調(diào)度時(shí)將同一個(gè)算子的不同分片分布到不同的圖查詢節(jié)點(diǎn)上，將不同算子需要通信的分片部署在同一個(gè)圖查詢節(jié)點(diǎn)上，盡量減少算子間通信帶來的圖查詢節(jié)點(diǎn)間的通信開銷，同時(shí)每一個(gè)邏輯算子都會(huì)被切分為當(dāng)前可用的最大查詢節(jié)點(diǎn)的數(shù)目，在調(diào)度時(shí)，每一個(gè)切分后的物理算子都會(huì)被部署到對應(yīng)的一個(gè)圖查詢節(jié)點(diǎn)上，最大程度利用當(dāng)前集群中可利用的資源。

5.根據(jù)權(quán)利要求3所述的基于圖數(shù)據(jù)庫的分布式系統(tǒng)，其特征在于，計(jì)算層算子執(zhí)行時(shí)指將本來在計(jì)算層執(zhí)行的算子下放至存儲層執(zhí)行，以此減少計(jì)算層和存儲層之間的通信開銷，減少存儲層和計(jì)算層之間反復(fù)傳遞不必要消息帶來的資源空耗問題和查詢時(shí)延，進(jìn)行下放的算子包括Filter算子和Expand算子。

6.根據(jù)權(quán)利要求1所述的基于圖數(shù)據(jù)庫的分布式系統(tǒng)，其特征在于，所述圖存儲節(jié)點(diǎn)包括本地KV存儲層、分布式KV層、多版本控制層、事務(wù)層和圖語義層；

所述本地KV存儲層采用鍵值對存儲，為上層提供基于磁盤的鍵值對存儲和查詢能力；

所述分布式KV層設(shè)置在本地KV存儲層上層，在單機(jī)鍵值對存儲的基礎(chǔ)上提供分布式鍵值對存儲的能力，分布式KV層將整個(gè)哈希空間通過Partitionld將分為多個(gè)分區(qū)，并且為每一個(gè)分區(qū)創(chuàng)建相應(yīng)的副本，同一個(gè)分區(qū)的若干副本通過Raft協(xié)議保持一致；

多版本控制層用于支撐上層事務(wù)層的實(shí)現(xiàn)，當(dāng)多個(gè)事務(wù)同時(shí)操作一個(gè)鍵值對時(shí)，由多版本控制層根據(jù)事務(wù)層提供的事務(wù)ID為鍵值對生成多個(gè)版本進(jìn)行并發(fā)訪問，事務(wù)完成后，多版本控制成需要負(fù)責(zé)將多個(gè)版本的改動(dòng)回寫；

事務(wù)層主要負(fù)責(zé)事務(wù)之間的并發(fā)順序，保證一個(gè)事務(wù)內(nèi)的多個(gè)鍵值對讀寫必須滿足某種指定的一致性需求；

圖語義層位于圖存儲節(jié)點(diǎn)最上層，用于執(zhí)行下推的算子。