[發明專利]一種基于ID緩存技術的圖數據庫加速裝置和方法

在審

• 申請號: 201810981901.1
• 申請日: 2018-08-27
• 公開（公告）號: CN109446358A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/50
• 分類號: G06F16/50;G06F16/54;G06F16/51
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了圖數據庫ID緩存技術的核心，應用于百萬級以上數據量的圖數據庫上具有動態性的緩存，ID緩存技術在內存中緩存了ID，雖然還是要對圖數據庫進行查詢，但是相比于原先遍歷上百萬數據的查詢過程已經提速巨大了，只需要根據ID進行定向查詢，查詢量是十分小，因此查詢速度也提升巨大，而且具有數據動態性，數據庫中的數據變化與緩存沒有沖突，極大地降低了臟數據概率。其分為以下幾個部分：基于圖數據庫結構特征而制定的特別緩存結構，面向簡單查詢和復雜查詢的不同匹配策略，在數據庫有改動時通知客戶端進行更新緩存以達到一致性，緩存數量過大的時候進行的置換策略。

技術領域

本發明屬于計算機圖數據庫技術領域，尤其涉及圖數據庫軟件的調試技術領域。

背景技術

圖數據庫源起歐拉和圖理論，也可稱為面向/基于圖的數據庫，對應的英文是Graph Database。圖數據庫的基本含義是以“圖”這種數據結構存儲和查詢數據，而不是存儲圖片的數據庫。它的數據模型主要是以節點和關系(邊)來體現，也可處理鍵值對。它的優點是快速解決復雜的關系問題。

計算機存儲希望能將關系型數據存儲，關系型數據庫雖然能做到這一點，但是卻做得不好，為了存儲關系導致了數據冗余，并且不能適應關系數據的動態性，也不能很好的支持關系數據的多層復雜查詢。針對數據間內在關系復雜且動態變化的問題，應運而生的便是圖數據庫，可知圖數據庫是數據庫存儲的未來方向之一，其通過存儲節點與關系來實現圖的抽象存儲，已成為社交領域，金融領域和交通信息領域等的首選數據庫，但是隨著數據規模和數據復雜度的增長，圖數據庫的查詢速度無法滿足當前的需求，更無法與關系型數據庫相比，此時對于緩存技術的引入是非常必要的。

當前的圖數據庫有neo4j，titan，arangodb，orientdb，gun等。在緩存技術上orientdb是文件緩存cache，文件緩沖cache緩存了相同格式的文件數據。但由于查詢經常在節點和關系之間相互查詢，而關系和節點放在不同格式的文件數據，所以緩存速度并不快。neo4j是語句緩存，將查詢過的語句緩存在文件中，但由于緩存的是數據結果，所以緩存所占數據量極大。而泰坦使用了多層數據緩存，以方便快速的圖形遍歷。它們是從一個泰坦事務中訪問的。緩存越接近事務，緩存訪問的速度越快，內存占用和維護開銷也就越高。

在我們使用圖數據庫的時候經常遇到查詢簡單的數據耗時非常長，甚至有時在查詢復雜數據會出現無法返回結果的情況。其主要原因是圖數據庫的存儲方式和存儲結構導致了數據查詢非常的緩慢，比如某圖數據庫擁有100萬個節點，200萬個關系。一個簡單的用戶關系在相同硬件環境與關系型數據庫相比查詢速度慢了將近數倍，這是無法容忍的，其主要原因是因為每一次查詢都需要在關系和節點之間來回切換匹配。但這并不是無法解決的問題，與關系型數據庫不同的地方在于圖數據庫是以節點和關系來存儲的，節點與關系分別對應一個全局分配的ID，不像關系型數據庫每一個表即不同的ID分配制度。如果知道該查詢結果的ID號，可以直接定位查詢，而不需要再去遍歷全文檔查詢。

綜上所述便有了基于ID查詢機制的緩存技術，那么為什么不像傳統緩存一樣直接存儲查詢結果的數據對象，主要有一下幾個原因：存儲數據結果是十分龐大的，有的查詢結果可能含有成百上千個節點，這對內存簡直是巨大的消耗，但是如果只保存ID號(Long類型)開銷是十分小的。其次，產生緩存表臟數據，存儲數據結果將無法與圖數據庫進行數據一致，而為了達到一致的計算機資源開銷也是非常大的，所以使用ID則至少保證了圖數據庫內容一致，且容錯率低。

發明內容

本發明的目的是為了解決現有技術在圖數據庫查詢過程中出現的IO訪問次數過多和速度緩慢的嚴重問題，提出了一種基于ID緩存技術的圖數據庫加速裝置和方法。

為了實現上述目的，本發明的技術方案：

一種基于ID緩存技術的圖數據庫裝置，包括

訪問服務器，用于獲取用戶輸入的查詢語句，和ID緩存加速裝置進行通信，反饋查詢結果給用戶。