[發明專利]一種基于圖數據庫的分布式索引方法和系統

有效

• 申請號: 202010984750.2
• 申請日: 2020-09-18
• 公開（公告）號: CN112363979B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 陳勃勝;陳恒
• 申請（專利權）人: 杭州歐若數網科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/901
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

本申請涉及一種基于圖數據庫的分布式索引方法和系統，該方法包括獲取到頂點或邊的寫入請求后，通過該頂點的標記ID生成該頂點的頂點索引，通過該邊的邊類型生成該邊的邊索引，其中，該頂點包括頂點ID和該標記ID，該邊包括源點ID和該邊類型；通過該頂點ID或該源點ID進行哈希運算，將該頂點或該邊存入對應的圖分區內，生成的該頂點索引或該邊索引寫入同一該圖分區中，其中，在圖數據庫對應的圖空間中包含多個該圖分區，該頂點或該邊寫入該圖分區后，保存在該圖分區內，解決了對Nebula?Graph的索引查詢效率不高，查詢產生的不必要的網絡開銷較高的問題，使用戶可以快速地對Nebula?Graph中的頂點和邊進行查詢。

技術領域

本申請涉及計算機領域，特別涉及一種基于圖數據庫的分布式索引方法和系統。

背景技術

隨著零售、金融、電商、互聯網、物聯網等行業的興起，基礎數據量成幾何狀增長，為了將日益增長的龐大數據量組織成一個關系網，傳統的關系數據庫已經很難應對了；由此業界上出現了一批專門針對關系網數據存儲、計算的數據庫--圖數據庫；在海量關系數據中的檢索效率是每個圖數據庫必須要面對的問題，圖數據庫索引的實現有效提高了數據檢索效率。

在相關技術中，比較有代表性的圖數據庫是Nebula?Graph、Neo4j和JanusGraph等，Nebula?Graph為一個高性能圖數據庫，可以處理千億節點萬億條邊的海量圖數據，同時解決了海量數據存儲和分布式并行計算的問題；如今，對于Nebula?Graph的索引效果不好，無法快速地對Nebula?Graph中的頂點和邊進行查詢。

目前針對相關技術中，對Nebula?Graph的索引查詢效率不高，查詢產生的不必要的網絡開銷較高的問題，尚未提出有效的解決方案。

發明內容

本申請涉及計算機領域，特別涉及一種基于圖數據庫的分布式索引方法和系統，以至少解決相關技術中對Nebula?Graph的索引查詢效率不高，查詢產生的不必要的網絡開銷較高的問題。

第一方面，本申請實施例提供了一種基于圖數據庫的分布式索引方法，所述方法包括：獲取到頂點或邊的寫入請求后，通過所述頂點的標記ID生成所述頂點的頂點索引，通過所述邊的邊類型生成所述邊的邊索引，其中，所述頂點包括頂點ID和所述標記ID，所述邊包括源點ID和所述邊類型；通過所述頂點ID或所述源點ID進行哈希運算，將所述頂點或所述邊存入對應的圖分區內，生成的所述頂點索引或所述邊索引寫入同一所述圖分區中，其中，在圖數據庫對應的圖空間中包含多個所述圖分區，所述頂點或所述邊寫入所述圖分區后，保存在所述圖分區內。

在其中一些實施例中，生成所述頂點的頂點索引或生成所述邊的邊索引包括：所述頂點索引或所述邊索引存入的所述圖分區確定圖分區ID；所述頂點索引在標記模型的基礎上，由所述標記ID創建得到索引ID；所述邊索引在邊模型的基礎上，由所述邊類型創建得到索引ID，其中，所述頂點索引或所述邊索引包括：所述圖分區ID、數據類型、所述索引ID和屬性。

在其中一些實施例中，所述頂點或所述邊寫入所述圖分區后，所述方法包括：獲取到API客戶端發送的查詢請求消息，調用元數據服務器驗證所述請求有效性，通過存儲客戶端將所述查詢請求消息發送到所有存儲服務器中的圖分區，根據所述查詢請求消息對所述頂點索引或所述邊索引并行索引掃描，其中，通過所述圖分區ID和所述標記ID或通過所述圖分區ID和所述邊類型明確所述索引掃描的查詢范圍；獲得所述存儲服務器查詢得到的結果集，匯總所述結果集返回給所述API客戶端。

在其中一些實施例中，所述根據所述查詢請求消息對所述頂點索引或所述邊索引并行索引掃描包括：對所述頂點索引或所述邊索引的并發索引掃描出錯后，生成錯誤碼，通過所述錯誤碼定位到失敗的所述圖分區。