[發明專利]一種基于數據資源轉化效率模型的緩存方法

在審

• 申請號: 201910502646.2
• 申請日: 2019-06-11
• 公開（公告）號: CN110309180A
• 公開（公告）日: 2019-10-08
• 發明（設計）人: 鄧玉輝;艾亮
• 申請（專利權）人: 暨南大學
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25;G06F16/21
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳燕嫻

本發明公開了一種基于數據資源轉化效率模型的緩存方法，針對計算機存儲領域的緩存策略問題。數據緩存的本質可以視作為動態I/O數據流的熱數據識別問題，傳統緩存策略方案大多僅考慮數據流中所反映的新進度和頻率指標來確定熱數據，然而熱數據的判斷不能僅僅只依靠這些指標，因為隨著對負載認識的加深，一定會有例如重用距離特征等其它更精確和適合指標出現，同時負載是變化的，而新進度和頻率指標反映的更多的一種宏觀的規律，在具體的數據流時間段中，這種判斷方法不一定正確。因此針對這一問題，本方法從數據的資源轉效率的角度來定義和解決熱數據識別的問題，并提出一種基于數據資源轉化效率模型的緩存方法，以提升現有算法的性能。

技術領域

本發明涉及存儲系統技術領域，具體涉及一種基于數據資源轉化效率模型的緩存方法。

背景技術

隨著數據總量的不斷增長以及新型存儲材質的研發，計算機的存儲材質和存儲架構也在不斷地發生著變化。例如基于閃存的固態硬盤，在現在的計算機存儲架構中非常常見的作為替代HDD普通硬盤的存儲介質或者計算機內存和磁盤設備的緩存介質，又例如新型非易失存儲材質如3D Xpoint，NVDIMM，STT-MRAM的出現，在現在的計算機存儲架構中已經設計成為替代內存DRAM存儲介質或者與內存DRAM相結合來提高內存性能的選擇。

在現有的計算機系統架構中，將不同熱度的數據放在不同類型的存儲介質中，一直是計算機存儲系統中一種經濟且高效的存儲方式。然而現在的緩存方法的設計大多是基于局部性和數據的訪問頻率來進行設計，而這在目前的大規模動態I/O數據流背景或環境下，對熱點數據的識別能力和不同類型熱數據的分類力度是不夠的，因為新進度和頻率指標反映的是一種宏觀統計的規律，但是在具體的I/O數據流時間段中則不一定正確或適用，也因此無法更精確地識別和處理熱點數據。

通過研究目前緩存和閃存的數據緩存算法，發現這些算法首先數據的設計指標主要還是新進度和數據訪問頻率，對其它更細粒度的數據特征指標如重用距離特征指標的考慮還比較少，另外這些算法的主要缺點仍然是因為無法精細化地識別和處理熱點數據，而導致緩存污染問題的存在，當然還存在算法不具備有動態性和無法捕捉大于緩存的熱數據等問題。

因此如何在目前大規模的I/O數據流環境中，在保證盡量小的系統內存開銷和計算開銷的前提下，快速及時高效地識別出這其中的熱點數據是目前研究中的一個非常重要的問題。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種基于數據資源轉化效率模型的緩存方法。

本發明的目的可以通過采取如下技術方案達到：

一種基于數據資源轉化效率模型的緩存方法，該緩存方法將緩存區域劃分為新數據區域N、短重用距離熱數據區域S、長重用距離熱數據區域L和數據臨時放置區域T，緩存區域中數據塊類型分為貯存數據塊R和元數據歷史塊H，其中，所述的貯存數據塊R用于真實數據塊信息，所述的元數據歷史塊H用于存儲記載真實數據塊的地址的元數據信息；同時，所述的短重用距離熱數據區域S中貯存數據塊按照數據的重用距離特征分為短重用距離貯存數據塊SR和長重用距離貯存數據塊LR；所述的新數據區域N存儲的數據塊類型僅有貯存數據塊R，其存儲的是新訪問的數據塊；所述的短重用距離熱數據區域S存儲的數據塊類型有短重用距離貯存數據塊SR、長重用距離貯存數據塊LR和元數據塊歷史塊H；所述的長重用距離熱數據區域L存儲的數據塊類型有貯存數據塊R和元數據歷史塊H；數據臨時放置區域T存儲的數據塊類型僅有貯存數據塊R；

該緩存方法針對負載數據流中不同類型數據進行緩存分配的步驟如下：

S1、當緩存滿時，對于負載數據流中的每一個讀請求或者寫請求，有且僅有以下五種情況發生：A.新數據區域N中數據棧命中；B.短重用距離熱數據區域S中數據棧命中；C.長重用距離熱數據區域L中數據棧命中；D.數據臨時放置區域T中數據棧命中；E.緩存未命中，針對以上情況，當滿足A時，則執行步驟S2；當滿足B時，則執行步驟S3；當滿足C時，則執行步驟S4；當滿足D時，則執行步驟S5；當滿足E時，則執行步驟S6；