[發明專利]一種面向用戶的圖數據庫查詢優化方法、系統

在審

• 申請號: 202110067794.3
• 申請日: 2021-01-19
• 公開（公告）號: CN112765411A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 宋騏;羅剛;汪國航;田寶同
• 申請（專利權）人: 合肥鴻麒科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903;G06F16/2453;G06F16/23
• 代理公司: 北京同輝知識產權代理事務所(普通合伙) 11357
• 代理人: 張明利

本公開屬于圖數據處理領域，公開一種面向用戶的圖數據庫查詢優化方法、系統，包括以下步驟：針對于數據量無法完全載入系統內存的場合下，在沒有用戶查詢數據的基礎上，根據數據的獲取頻率，以獲取頻率最高的數據作為熱點數據，將所述熱點數據優先載入至系統內存；針對于用戶查詢數據，優先從系統內存中的數據獲取與用戶查詢數據相匹配的數據，若系統內存的數據無法與用戶查詢數據相匹配，則從硬盤進行獲取與戶查詢數據相匹配的數據；與現有方法相比所提方法能更加提升查詢效率。

技術領域

本公開屬于圖數據處理領域，具體涉及一種面向用戶的圖數據庫查詢優化方法、系統。

背景技術

圖數據是以節點和節點之間關聯關系為核心的數據庫，相對于傳統關系型數據庫，圖數據庫在研究實體關聯關系方面擁有很大的優勢，因為被廣泛應用于社交網絡、互聯網、金融、人工智能等諸多領域。圖結構數據的典型代表是知識圖譜，其中節點代表實體，邊代表實體之間的關系，同樣，社交網絡也是一種典型的圖數據，其中節點表示用戶，而邊表示用戶之間的關系。

圖數據庫作為一種新興的專門用于存儲圖結構數據的數據庫，提供了圖數據的存儲、查詢等功能。

隨著圖結構數據的數據量越來越大，受限于有限的系統內存規模以及硬盤I/O的低速，因而對高性能的實時查詢提出了巨大的挑戰。當今的圖數據規模在向TB甚至PB方向發展，例如Facebook發布的社交網絡數據包含數十億個節點和數千億條邊，數據規模達到數百TB，類腦神經元網絡擁有數百億個節點，數據規模同樣達到TB級別。在如此大規模的數據量下，常規計算機系統無法將所有數據全部載入系統內存中，而從硬盤獲取數據將會造成非常大的查詢延遲。

同時用戶所經常查詢的數據只占整體數據的一小部分，因而將所有數據載入系統內存會造成不必要的額外開銷。

發明內容

在一些公開中，本發明提出了一種面向用戶的圖數據庫查詢優化方法，與現有方法相比所提方法能更加提升查詢效率。

本公開的目的可以通過以下技術方案實現：

一種面向用戶的圖數據庫查詢優化方法，包括以下步驟：

針對于數據量無法完全載入系統內存的場合下，在沒有用戶查詢數據的基礎上，根據數據的獲取頻率，以獲取頻率最高的數據作為熱點數據，將所述熱點數據優先載入至系統內存；

針對于用戶查詢數據，優先從系統內存中的數據獲取與用戶查詢數據相匹配的數據，若系統內存的數據無法與用戶查詢數據相匹配，則從硬盤進行獲取與戶查詢數據相匹配的數據。

在一些公開中，針對于系統內存的數據無法與戶查詢數據相匹配的場合下，系統內存中的所述熱點數據的更新，包括以下步驟：

收集用戶查詢數據，根據從硬盤進行匹配的數據與戶查詢數據之間的應答率，判別是否將從硬盤進行匹配的數據作為新的熱點數據，進行載入至系統內存中，用于對所述熱點數據的更新。

在一些公開中，所述熱點數據包括：一組節點V_H、所述節點的n-跳鄰居、以及n-跳鄰居與節點相關聯的邊H(n,V_H)，所述n-跳鄰居為對應所述節點v，所有到所述節點v的最短路徑為n的節點。

在一些公開中，所述熱點數據的節點最大數量x,以及所述n,滿足x*m*kⁿ≤M，M為系統內存大小，m為系統數據庫每個節點平均占用內存，k為系統數據庫平均每個節點的邊數。

在一些公開中，在系統初始化時，將n設置為2，并得到相應的x值；在系統運行過程中，根據用戶查詢的相關信息，動態的調整n和x的值。