[發明專利]一種高可靠的異構平臺的大型圖數據庫系統的實現方法

有效

• 申請號: 202010961877.2
• 申請日: 2020-09-14
• 公開（公告）號: CN112100415B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 孔勝嵩;季振洲;和樹繁
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53
• 代理公司: 北京匯捷知識產權代理事務所(普通合伙) 11531
• 代理人: 盛君梅

1.一種高可靠的異構平臺的大型圖數據庫系統的實現方法，所述圖數據庫系統用于存儲安全可靠的圖結構與圖數據；所述圖數據庫系統存儲結構包括標志位與保留字段、數據字段、校驗字段；

標志位與保留字段，用于記錄本條數據當前狀態和相關日志信息，并為數據庫的衍生操作提供狀態存儲空間，標志位通過異構計算設備并行位運算方式修改；

數據字段，用于存儲當前數據所包含的所有信息，在存儲與使用的過程中，異構計算設備使用SIMD/SIMT指令運算加密算法對原始數據進行保護；

校驗字段，依據異構計算設備的計算特征進行設計，用于驗證數據為沒有出現錯誤的原始數據；在出現錯誤的情況下，依照校驗字段的冗余信息對錯誤數據進行糾錯與恢復處理。

所述圖數據庫系統包括圖數據庫管理系統中間件，用于提供訪問圖數據庫的接口API和一定的用戶界面UI；API對未來的擴展開放對修改關閉，并且默認阻斷非法獲取數據庫中的數據的操作；UI只提供有限的基本查詢操作，用戶可以通過基本查詢操作的組合嵌套和疊加來實現其他更加復雜的操作；所述管理系統中間件的執行步驟如下：

步驟1:攔截一切試圖訪問數據庫的查詢操作，并按照攔截規則賦予一定的權限；

步驟2:若該操作的主體權限不夠則拒絕訪問數據庫；

步驟3:若該操作的主體權限足夠則依照攔截規則訪問數據庫；

步驟4:在權限足夠的前提下，將客戶端準備執行的數據庫查詢操作轉換為設備端可以執行的基本并行操作命令序列，命令序列按照密文存儲并傳輸；

步驟5:在權限足夠的前提下，將設備端返回的子圖轉換成用戶可以理解的結果集；

步驟6:在權限足夠的前提下，根據熱數據替換策略，向主機端發出數據替換指令；

步驟7:在權限足夠的前提下，若需要關閉系統時，將向設備端發出關閉系統指令。

2.如權利要求1所述的方法,所述圖數據庫系統的存儲策略基于實際字段和校驗字段，依據異構計算設備高吞吐量的優勢以及大塊訪存的特點，按照一定的異構計算設備的專用內存加載策略，劃分成多個數據表進行存儲，降低在異構計算設備上的專用內存-Cache一致性開銷，其中每條信息的存儲結構與權利要求1中所述存儲結構相同；其組成包含節點信息數據表、關系信息數據表、標簽信息數據表、屬性信息數據表；節點信息數據表、關系信息數據表、標簽信息數據表按照異構計算設備的Cache塊大小進行分塊按需加載以及處理，采用定期同步的方式確保與專用內存-Cache數據的一致性；

節點信息數據表，用于記錄相應節點在圖上的邊鄰接信息與其自身的標簽與屬性信息；

并通過記錄索引的方式，與其他三個數據表進行連接；

關系信息數據表，用于記錄相應關系在圖上的點鄰接信息、邊鄰接信息與其自身的標簽與屬性信息；通過記錄索引的方式，與其他三個數據表進行連接；

標簽信息數據表，用于記錄節點與關系的標簽信息，并通過單向鏈表的方式，使得同一節點或關系可以掛載多個標簽信息；

屬性信息數據表，用于記錄節點與關系的屬性-鍵值信息，并通過單向鏈表的方式，使得同一節點或關系可以掛在多個屬性-鍵值信息。

3.如權利要求1所述的方法，所述圖數據庫系統保護主機端中央任務調度器，調度器的特征在于，設備端通過CPU獲取需要從主機端的文件系統中加載的圖數據源、對圖數據源進行預處理、以及向設備端發送命令隊列并獲取返回的結果集；CPU根據查詢命令的操作描述和命令結構的語義選擇合適的調度策略，并進行任務的分解和圖數據庫源的分割；所得命令對列與設備端的上下文相關聯，提高異構計算設備在高并發下緩存命中率，并降低內存-Cache一致性的開銷從而實現對高并行任務的負載遷移，屬性信息數據表則加載到內存中，所述調度器執行包括如下步驟：

步驟1:按照設備端內存對齊方式分塊讀取圖數據庫源；

步驟2:通過圖數據庫管理系統中間件生成命令序列，將命令序列加入設備端的命令隊列；

步驟3:對圖數據進行校驗和糾錯；

步驟4:若步驟3校驗成功，將圖數據塊載入設備內存中；

步驟5:當圖數據庫管理系統中間件發出熱數據替換指令時，將被標記為不常用的數據替換成標記為經常使用的熱數據；

步驟6:當圖數據庫管理系統中間件發出關閉系統指令時，將設備內存中的數據規格化寫會磁盤并記錄日志。

4.如權利要求1所述的方法，所述圖數據庫系統包括并行處理核心的異構計算設備，用于存儲并校驗圖數據庫塊，還用于并行加密和解密圖數據，分析處理圖數據并生成子圖，在設備端的主存中存儲圖數據庫塊的結構和數據，根據主機端入隊的命令序列的不同，在設備端的多處理單元上并行執行數據校驗、數據加密、數據解密以及生成子圖等操作。