[發明專利]一種高可靠的異構平臺的大型圖數據庫系統的實現方法

有效

• 申請號: 202010961877.2
• 申請日: 2020-09-14
• 公開（公告）號: CN112100415B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 孔勝嵩;季振洲;和樹繁
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53
• 代理公司: 北京匯捷知識產權代理事務所(普通合伙) 11531
• 代理人: 盛君梅

本文結合存儲高度關聯的大型圖數據庫的需求，并結合在上述數據庫中提高操作時的安全性與性能的需求，以及傳統的原生圖數據庫Neo4j存在的安全性差、性能不能滿足數據量較大時的大量查詢的問題，在原有的存儲結構基礎上，結合GPGPU的高帶寬和大吞吐量以及高計算密度的特點，通過增添安全校驗碼改良原有數據存儲結構，提出了一種以GPU為存儲和操作核心的模型，并且在提高了數據庫的安全性的同時、不損失常用查詢效率的數據庫結構。本發明創新地利用GPU處理數據時按塊對齊、并行處理的特點，做到了圖數據庫的安全可靠與性能穩定的統一；同時對于一些常用操作的效率明顯優于傳統的原生圖數據庫，且對硬件要求較低、兼容性較強，性價比較高，可擴展性較強。

技術領域

本發明屬于圖數據庫系統分析和設計技術領域，更具體地，涉及一種面向大規模圖數據可信存儲和安全查詢的并行存儲結構及并行查詢操作的系統。

背景技術

近年來，隨著知識表示和機器學習等技術的發展，推動了知識圖譜相關技術的發展，特別是對大規模知識圖譜存儲和分析需求的爆炸式增長，微軟、谷歌和百度等企業已經構建了大規模通用知識圖譜，提供了實體和關系的語義搜索，方便更精確的感知用戶的需求。特別是在實時智能問答、實時決策分析等領域，對大型圖數據庫的時效性要求很高，需要一種更為快速的存儲結構和查詢操作的方式。而原生圖的存儲方式將會更加適合上述領域的部署。而傳統的原生圖數據庫都是基于CPU和主存來存儲和處理圖數據的，而現階段CPU所能夠支持的最大算力以及單位算力的成本和每瓦性能都比較低，而針對形如GPU(圖形處理單元)的異構設備來說，在有限的條件下可以擴展更多的算力，而且還擁有更高的性價比和更高的能效比，特別是針對大型圖數據庫來說，異構設備專用內存的高帶寬以及大吞吐量都是大型圖數據庫所需要的。同時在設備端緩存熱數據也可以充分發揮圖數據的時空局部性原理，因為最常訪問的數據在近期被訪問的概率也是更大的。這樣我們也解放了一部分的內存空間，可以用這部分內存來裝載更多的服務比如說對圖數據庫進行熱備份和一些預處理的服務。隨著用戶海量數據價值的提升，數據泄露將會產生更加昂貴的代價，同時由于數據量激增恢復海量數據帶來的困難也是越來越大的。尤其是大型圖數據庫的安全性和可靠性面臨越來越嚴峻的安全性威脅和可靠性的挑戰，我們需要一個存儲更加可靠操作更加安全的圖數據庫系統，同時不會對系統的性能造成過多的影響，而且安全服務對用戶是透明的，用戶無需知曉，只要定期維護，系統會盡最大努力保護圖數據庫的安全可靠。系統不光通過實時加密的方式解決來自外部的信息竊取，以及通過全局和局部的各類校驗來應對內部出現的故障和錯誤，甚至是初始化時，來自磁盤讀取的錯誤。只有做到了安全和可靠的大型圖數據庫才能更加從容的適應新時代的迫切需要。結合異構平臺的高算力和高吞吐量，實時并行加密解密以及數據校驗并糾錯都是事故發生時的最后一根稻草。

基于背景技術存在的技術問題，本發明提出了一種高性能、高可靠的異構平臺的大型圖數據庫系統的實現方法。

發明內容

本發明的目的是解決傳統原生圖數據庫系統中存在的一些實時的安全性問題和可靠性問題，本發明提供了一種高性能、高可靠、可容錯的異構平臺的大型圖數據庫系統

所述系統包括包括圖數據庫信息的存儲結構，原生圖數據庫的存儲策略，圖數據庫管理系統中間件，主機端中央任務調度器，含有并行處理核心的異構計算設備。

所述原生圖數據庫的存儲結構，用于存儲安全可靠的圖結構與圖數據。其組成包括標志位與保留字段、數據字段、校驗字段。

所述原生圖數據庫的存儲策略，用于將圖數據庫按照一定的規則劃分成多個數據表進行存儲，其中每條信息的存儲結構與權利要求1中所述存儲結構相同。其組成包含節點信息數據表、關系信息數據表、標簽信息數據表、屬性信息數據表。

所述圖數據庫管理系統中間件，用于提供訪問圖數據庫的接口和一定的用戶界面。

所述主機端中央任務調度器用于設備端、內存和外存交互的橋梁，設備端通過CPU獲取需要從主機端的文件系統中加載的圖數據源、對圖數據源進行預處理、以及向設備端發送命令對列并獲取返回的結果集。