[發明專利]基于圖數據庫的數據加速訪問方法、裝置及存儲介質

有效

• 申請號: 202010739909.4
• 申請日: 2020-07-28
• 公開（公告）號: CN111858612B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 曹斌
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455;G06F16/28
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張超艷;董永輝

本發明涉及一種大數據，揭露一種基于圖數據庫的數據加速訪問方法，包括：數據存儲在存儲系統，包括高速存儲設備和慢速存儲設備；構建圖數據庫，點為數據，按照數據訪問次序對不同點進行連線，連線長度表征訪問概率；對已緩存和未緩存到高速設備中的數據在圖數據庫中進行標記區分；接收客戶端數據訪問請求；讀取圖數據庫，判斷數據訪問請求對應的數據是否標記為已緩存；若標記為已緩存，從高速存儲設備讀取數據；標記為未緩存，從慢速存儲設備讀取數據，將數據及其相關聯的數據緩存到高速存儲設備，相關聯的數據是指與所述數據的訪問概率達到緩存閾值的數據。還提供一種裝置、電子設備及計算機可讀存儲介質。本發明具有智能數據訪問預測功能。

技術領域

本發明涉及大數據處理，尤其涉及一種基于圖數據庫的數據加速訪問方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

隨著大數據時代的來臨，互聯網的發展，互聯網上的數據越來越多，繼而催生出了數據存儲的各種方案，隨著數據存儲技術和網絡帶寬的發展，數據訪問速度又成為了新的瓶頸。當前對于數據訪問速度的解決，主要有CDN和高速緩存兩種形式解決。

對于CDN來說，通過將已經訪問過的數據存儲在邊緣服務器上，通過縮短客戶端到數據的距離，減少延時，同時數據得以緩存，可以減少主服務器壓力。通過這種形式來加速數據的訪問，但是緩存的數據必須是客戶端頻繁訪問的，這就導致前N次(自設定閾值)訪問的客戶端都需要從主服務器訪問，速度較慢。

高速緩存是使用高速的SSD盤，內存等高速設備，將需要讀取的數據緩存其中，減少讀取慢速硬盤的時間。經過測試，讀取同等大小的數據，內存讀取速度是普通硬盤的7～100倍，SSD是普通硬盤的5～10倍，可見若將數據緩存到高速設備中，可以大幅提高數據的訪問速度。但是，由于高速設備相較于硬盤來說，價格要貴很多，所以高速設備的容量都很小，目前對于數據緩存的方式，也主要是采用訪問即緩存的形式，用戶訪問過某數據后，高速設備會將數據緩存其中，直到長時間未訪問過后才會將數據刪除。這種形式的優點是實現簡單，缺點就是只能緩存訪問過的數據，不會預測數據，若數據是熱點數據(就是會多次訪問的數據)，那么緩存效果很好，若數據是非熱點數據，則沒有加速效果。而文件被多次訪問的概率要比順序訪問的概率低。

發明內容

本發明提供一種基于圖數據庫的數據加速訪問方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于對訪問次數少的數據也具有加速效果。

為實現上述目的，本發明提供的一種基于圖數據庫的數據加速訪問方法，包括：

將數據存儲在存儲系統中，所述存儲系統包括高速存儲設備和慢速存儲設備；

構建圖數據庫，所述圖數據庫的點為數據，按照數據的訪問次序對不同點進行連線，連線的長度表征訪問概率；

對已緩存和未緩存到高速設備中的數據在圖數據庫中進行標記區分；

接收客戶端的數據訪問請求，讀取所述圖數據庫；

判斷所述數據訪問請求對應的數據是否標記為已緩存；

如果所述數據訪問請求對應的數據標記為已緩存，從高速存儲設備中讀取數據返回給客戶端；

如果所述數據訪問請求對應的數據標記為未緩存，從慢速存儲設備中讀取數據返回給客戶端，同時將所述數據和所述數據相關聯的數據一起緩存到高速存儲設備中，其中，所述數據相關聯的數據是指與所述數據的訪問概率達到緩存閾值的數據。

可選地，所述構建圖數據庫的步驟包括：

將用戶首次訪問的數據標記為根節點，第二次訪問的數據標記為引用1，第三次訪問的數據標記為引用2，依次類推，將數據以點的形式進行存儲；

設定首次標記的引用的訪問概率初值；

采集設定時間段的存儲系統的訪問數據；