[發明專利]熱點感知的日志結構合并樹讀寫性能優化方法及相關設備

在審

• 申請號: 202211294729.5
• 申請日: 2022-10-21
• 公開（公告）號: CN115563235A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 王芳;馮丹;張健順;董超
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33;G06F3/06
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩;李智

1.一種熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，包括：

在內存中維護粗粒度緩存和細粒度緩存，分別以數據塊和鍵值對為粒度對系統中最近被訪問的數據進行緩存；

并且，用于查詢目標鍵值對的點查詢操作，其執行包括：

(R1)在所述細粒度緩存中查詢所述目標鍵值對，若查詢成功，則轉入步驟(R4)；否則，轉入步驟(R2)；

(R2)按照寫緩沖、只讀寫緩沖、所述粗粒度緩存以及所述日志結構合并樹的順序依次訪問各組件，直至查詢到所述目標鍵值對，若在所有組件中均未查詢到所述目標鍵值對，則點查詢操作結束；否則，轉入步驟(R3)；

(R3)將查詢到的鍵值對緩存到所述細粒度緩存中；若所述目標鍵值對在所述日志結構合并樹中被查詢到，則將所述目標鍵值對所在數據塊緩存到所述粗粒度緩存中；

(R4)返回查詢到的鍵值對，點查詢操作結束。

2.如權利要求1所述的熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，所述細粒度緩存中還維護有臟數據隊列，用于記錄細粒度緩存中因更新而產生的臟數據；

并且，寫操作的執行包括：

(W1)將待寫入的鍵值對寫入寫前日志中；

(W2)判斷待寫入的鍵值對是否位于所述細粒度緩存，若是，則通過就地更新的方式將待寫入的鍵值對寫入所述細粒度緩存，并將待寫入數據記錄到所述臟數據隊列中，并設置對應的臟數據標志位，之后轉入步驟(W3)；否則，將待寫入的鍵值對寫入所述寫緩沖，之后轉入步驟(W3)；

(W3)返回更新結果，寫操作結束。

3.如權利要求2所述的熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，用于查詢指定范圍內的鍵值對的范圍查詢操作，其執行包括：

(S1)若所述臟數據隊列不為空，則對所述細粒度緩存中的所有臟數據進行批量讀取并排序后，批量寫入所述寫緩沖，之后轉入步驟(S2)；否則，直接轉入步驟(S2)；

(S2)從所述寫緩沖、所述只讀寫緩沖中讀取位于所述指定范圍內的鍵值對，并確定所述日結結構合并樹中與所述指定范圍存在鍵值范圍重疊的數據塊，若數據塊中已緩存到所述粗粒度緩存，則從所述粗粒度緩存讀取相應數據塊，否則，從所述日志結構合并樹中讀取數據塊并緩存至所述粗粒度緩存中；從所讀取的數據塊中讀取位于所述指定范圍內的鍵值對；

(S4)對所讀取到的鍵值對進行合并，返回合并后的鍵值對集合，范圍查詢操作結束。

4.如權利要求1～3任一項所述的熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，所述粗粒度緩存被劃分為多個第一分區，各第一分區中采用哈希表管理數據塊；所述細粒度緩存被劃分為多個第二分區，各第二分區中采用哈希表管理鍵值對。

5.如權利要求1～3任一項所述的熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，所述日志結構合并樹的合并操作包括：

確定所述日志結構合并樹中需要發起合并的層次，計算該層次中各數據表的熱度，選取其中熱度最小的數據表發起合并操作；

其中，數據表的熱度為數據表中所有數據塊的熱度之和；數據塊的熱度為數據塊中所有鍵值對的熱度之和。

6.如權利要求5所述的熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，所述日志結構合并樹中，鍵值對的熱度計算方式包括：

判斷鍵值對是否位于所述細粒度緩存，若是，則將其讀熱度設置為s_r，否則，將其讀熱度設置為0；s_r0；

判斷鍵值對是否在之前的合并操作中被丟棄過，若是，則將其寫熱度設置為s_w，否則，將其寫熱度設置為0；s_w0；

將鍵值對的讀熱度和寫熱度之和作為鍵值對的熱度。

7.如權利要求5所述的熱點感知的日志結構合并樹讀寫性能優化方法，其特征在于，所述日志結構合并樹的合并操作還包括：

對于在合并過程中產生的新的數據塊，計算各數據塊的熱度以及平均熱度，選取熱度大于平均熱度的數據塊，替換所述粗粒度緩存中因為合并而失效的數據塊。