[發明專利]一種緩存數據處理方法、裝置和存儲控制器

有效

• 申請號: 201611248587.3
• 申請日: 2016-12-29
• 公開（公告）號: CN106648469B
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 江武漢;門勇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 44202 廣州三環專利商標代理有限公司
• 代理人: 郝傳鑫;熊永強

揭露一種數據處理方法，以及對應的裝置和存儲控制器。其中，數據處理方法包括：獲取數據的壓縮比D、重刪比C、平均分條填充率I、緩存中目標分條大小S、所述目標分條中有效數據大小W；根據獲取的這幾項參數，使用公式，獲取淘汰數據量N，根據N的取值執行下述操作中的一個：在T_min≤N≤T_max的情況下，將大小為N的數據寫入所述目標分條，把所述目標分條的數據淘汰給存儲介質，其中當T_min是預設的第一閾值，T_max是預設的第二閾值；在N＞T_max的情況下，將大小為N的數據寫入所述目標分條；在N＜T_min的情況下，把所述目標分條的數據淘汰給所述存儲介質。使用該方案對緩存數據下盤的時間點進行了更合理的設計。

技術領域

本發明涉發明存儲技術，特別涉及于存儲領域技術的日志領域。

背景技術

緩存(cache)是一種為了解決高、低速設備之間速度不匹配而采用的一項重要技術，廣泛應用于各種領域如存儲系統中，可以減少應用響應時間、提升效率。

在存儲系統中，為了提升存儲系統的性能，通常在處理設備和硬盤之間增加一個緩存層(也稱為回寫緩存，write-back cache)。緩存層可以提高系統讀寫性能，所以有時候也把緩存層稱為性能層。

緩存使用的介質例如是固態硬盤(solid state disk，SSD)，其其讀寫性能優于持久化存儲介質(例如硬盤)。相對于硬盤，可以更快速處理來自主機應用程序的寫請求。緩存的存儲容量有限，因此當空閑空間不足時，需要根據淘汰算法把一部分緩存介質數據淘汰到硬盤中，以便騰出空間為后續的寫請求使用。這部分從緩存下發到硬盤的數據稱為臟數據。

為了盡快的讓緩存擁有足夠的空閑空間，在空閑空間不足時需要盡快把臟數據淘汰到硬盤中去。否則會造成寫請求難以被及時處理。

存儲領域中，緩存中臟數據通常是以分條作為粒度下發到硬盤。分條是邏輯概念，類似于一個裝數據的容器。如果下發的數據不足一個分條，意味著分條中僅有部分位置有效數據，分條中存在空閑位置。參見圖1中的分條，其利用率只有50％。這種沒有被有效數據“裝滿”的分條，和被有效數據“裝滿”的分條一樣，都會占用硬盤中一個完整分條的存儲空間，而且會產生一組元數據。因此，如果分條中有效數據和空閑位置的比例越大。可以節約越多的硬盤存儲空間，以及減少元數據的數量。如果分條完全“裝滿”有效數據后再下發，可以最大化的利用硬盤存儲空間，以及產生最少的元數據。

由此可見，臟數據的淘汰方式存在兩個矛盾的需求：從盡快獲取更多空閑緩存空間這個需求考慮，臟數據需要盡快淘汰到硬盤，最好是一旦空閑空間不足，立刻執行淘汰操作；而從提高硬盤利用率和減少元數據這個需求考慮，需要盡量湊滿分條后再把臟數據淘汰到硬盤，最好是把臟數據湊滿完整的分條后再執行淘汰操作。如何在二者中尋求一個平衡，是業界需要解決的問題。

現有技術中并沒有很好的解決這個問題。每秒讀寫次數(IOPS)抖動過大，以及硬盤存儲空間利用不足的情況時有發生。

發明內容

本發明實施例提供一種緩存數據處理方法、裝置和存儲控制器，可以緩解IOPS的嚴重波動，使存儲系統的性能越穩定。