[發(fā)明專利]一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法

有效

• 申請?zhí)枺?/td>: 202110054050.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112685337B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設計）人: 齊光鵬;竇洋;張明哲
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F12/0897
• 分類號: G06F12/0897
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

1.一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于,其實現(xiàn)基于后端存儲集群、第一級緩存、第二級緩存、api網(wǎng)關、日志文件系統(tǒng)和應用程序，其中：

后端存儲集群管理原始數(shù)據(jù)，

第一級緩存存儲動態(tài)變化的熱點數(shù)據(jù)，并依據(jù)進程的pid和業(yè)務屬性將熱點數(shù)據(jù)劃分為不同的pool，pool內以對象為單位存儲，

第二級緩存將第一級緩存的pool數(shù)據(jù)按照索引抽成段Segment，進而以段Segment的形式保存，

api網(wǎng)關作為所有請求的流量入口，統(tǒng)一處理請求、合并相同的請求數(shù)據(jù)，

日志文件系統(tǒng)存儲寫請求發(fā)生時的數(shù)據(jù)；

在應用程序發(fā)起讀請求時，api網(wǎng)關統(tǒng)一處理收到的請求并發(fā)布到第二級緩存中，第二級緩存根據(jù)請求查找段Segment，找到相關段Segment后，定位到第一級緩存的pool，或者，沒有找到相關段Segment，進一步向第一級緩存發(fā)起缺段請求，在第一級緩存中仍無法找到相關信息后，繼續(xù)到后端存儲集群查找；

在應用程序發(fā)起寫請求時，api網(wǎng)關統(tǒng)一處理收到的請求并采用WAL方式寫入日志文件系統(tǒng)，等事務完成時再Flush進后端存儲集群。

2.根據(jù)權利要求1所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第一級緩存中定義有第一后臺線程，在pool的存儲空間不夠時，第一后臺線程選擇pool內的臟對象并刷到后端存儲集群，或者/同時，第一后臺線程剔除第一級緩存的clean對象，以釋放更多的存儲空間。

3.根據(jù)權利要求1所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第二級緩存中定義有第二后臺線程，第二后臺線程用于定時清理第二級緩存的臟數(shù)據(jù)。

4.根據(jù)權利要求1所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第二級緩存將pool數(shù)據(jù)按照索引抽成的段Segment只存儲pool數(shù)據(jù)的索引和地址；每個段Segment具有動態(tài)可變的長度，每個段Segment的長度基于第二級緩存的閃存空間進行自由調度。

5.根據(jù)權利要求1所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，原始數(shù)據(jù)不限于包括環(huán)境部署時初始化的數(shù)據(jù)、通過存儲介質寫入的元數(shù)據(jù)、運行過程中產(chǎn)生的生產(chǎn)數(shù)據(jù)和監(jiān)控數(shù)據(jù)；

熱點數(shù)據(jù)不限于包括虛擬機鏡像相關數(shù)據(jù)、近一段時間的監(jiān)控告警數(shù)據(jù)。

6.根據(jù)權利要求1-5中任一項所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，后端存儲集群采用SATA Cluster作為存儲介質，通過ceph集群或GlusterFS集群管理原始數(shù)據(jù)。

7.根據(jù)權利要求6所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第一級緩存采用SSD Cluster。

8.根據(jù)權利要求7所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第二級緩存采用NAND或SCM閃存陣列。

9.根據(jù)權利要求8所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第一級緩存與后端存儲集群的總容量比值為1：100，第二級緩存與第一級緩存的總容量比值為1：10。

10.根據(jù)權利要求1所述的一種存儲集群中分級緩存讀寫數(shù)據(jù)的方法，其特征在于，第一級緩存作為cache，根據(jù)數(shù)據(jù)塊的大小和召回概率確定數(shù)據(jù)塊的公式取決于性能目標，性能目標包括最大化cache命中率，最小化平均響應時間以及最小化由于cache未命中而必須暫存到cache中的數(shù)據(jù)量；

當性能目標是最大化cache命中率時，用于確定數(shù)據(jù)塊q值的公式為q＝r(x，s，A)/s；

當性能目標是最小化平均響應時間時，用于確定數(shù)據(jù)塊q值的公式為q＝ ((α+βs)*r(x，s，A))/s，以α+βs來表示未命中損失，即cache未命中的響應時間超過cache命中的響應時間；

當性能目標是最小化由于cache未命中而必須暫存到cache中的數(shù)據(jù)量時，用于確定數(shù)據(jù)塊q值的公式為q＝r(x，s，A)；

上述公式中，s是數(shù)據(jù)塊的大小，x是數(shù)據(jù)塊的未引用時間間隔，A代表用于估計數(shù)據(jù)塊的召回概率的輔助參數(shù)，r(x，s，A)是數(shù)據(jù)塊作為x，s和A的函數(shù)的召回概率，α和β是常數(shù)。