[發明專利]熱點感知的日志結構合并樹讀寫性能優化方法及相關設備

在審

• 申請號: 202211294729.5
• 申請日: 2022-10-21
• 公開（公告）號: CN115563235A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 王芳;馮丹;張健順;董超
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33;G06F3/06
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩;李智

本發明公開了熱點感知的日志結構合并樹讀寫性能優化方法及相關設備，屬于數據存儲技術領域，包括：在內存中維護粗粒度緩存和細粒度緩存，分別以數據塊和鍵值對為粒度對系統中最近被訪問的數據進行緩存；粗粒度緩存為只讀緩存，用于服務范圍查詢操作；細粒度緩存為讀寫混合緩存，用于服務點查詢操作和寫操作；在硬盤上引入熱點感知的數據合并方法，設計實現了數據熱度的計算方法，基于數據訪問熱度調度日志結構合并樹中內部數據合并操作的執行，同時對參與合并的無效數據進行快速剪枝，合并完成后預取較熱的新數據塊到粗粒度緩存中。本發明能夠提升緩存命中率，縮短讀寫路徑，對日志結構合并樹的讀寫性能進行優化。

技術領域

本發明屬于數據存儲技術領域，更具體地，涉及熱點感知的日志結構合并樹讀寫性能優化方法及相關設備。

背景技術

隨著信息技術的高速發展以及數據量的爆炸式增長，各個行業領域都產生了海量數據，對于存儲系統的性能要求也進一步提高，而傳統數據存儲系統中常常使用相對固定的數據模型來組織管理數據，通常基于一些簡單的數據場景來建立數據模型，例如使用簡單的邏輯二維表來表現展示數據，所以無法應對大數據時代數據形式多樣化的趨勢以及高性能的并發讀寫需求，非結構化數據存儲系統應運而生。

基于日志結構合并樹(Log-Structured Merge Tree,LSM-Tree)的非結構化數據庫近年來成為了現代存儲系統的基礎設施，以鍵值存儲的形式對外提供關鍵的數據存儲服務。基于日志結構合并樹的存儲系統充分考慮了存儲設備順序讀寫性能遠好于隨機讀寫性能的特性，采用內存延遲批量寫入的方式獲得了較高的寫性能，廣泛應用于寫密集的應用場景中。

日志結構合并樹雖然可以提供優異的寫性能，但因為需要在后臺不斷地進行合并操作及時地刪除過期數據并保證存儲設備上數據的有序性，導致日志結構合并樹的讀性能相比于寫性能較低，不足以應用到更廣泛的讀寫混合場景。其次，如今的應用負載常常包含數據熱點，即少部分數據占據了大部分的請求訪問，而現有的日志結構合并樹并沒有考慮到負載的熱點特征，且還會因為合并操作使得熱點數據在存儲設備上反復讀寫，和前臺的用戶請求爭用內部服務器資源，造成讀寫性能的下降。

總的來說，現有的基于日志結構合并樹的存儲系統，讀寫性能有待進一步提高。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了一種熱點感知的日志結構合并樹讀寫性能優化方法及相關設備，其目的在于，對日志結構合并樹的讀寫性能進行優化。

為實現上述目的，按照本發明的一個方面，提供了一種熱點感知的日志結構合并樹讀寫性能優化方法，包括：

在內存中維護粗粒度緩存和細粒度緩存，分別以數據塊和鍵值對為粒度對系統中最近被訪問的數據進行緩存；

并且，用于查詢目標鍵值對的點查詢操作，其執行包括：

(R1)在細粒度緩存中查詢目標鍵值對，若查詢成功，則轉入步驟(R4)；否則，轉入步驟(R2)；

(R2)按照寫緩沖、只讀寫緩沖、粗粒度緩存以及日志結構合并樹的順序依次訪問各組件，直至查詢到目標鍵值對，若在所有組件中均未查詢到目標鍵值對，則點查詢操作結束；否則，轉入步驟(R3)；

(R3)將查詢到的鍵值對緩存到細粒度緩存中；若目標鍵值對在日志結構合并樹中被查詢到，則將目標鍵值對所在數據塊緩存到粗粒度緩存中；

(R4)返回查詢到的鍵值對，點查詢操作結束。

進一步地，細粒度緩存中還維護有臟數據隊列，用于記錄細粒度緩存中因更新而產生的臟數據；

并且，寫操作的執行包括：

(W1)將待寫入的鍵值對寫入寫前日志中；