[發(fā)明專利]一種緩存策略寫入分層硬件架構(gòu)下的寫性能優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 201810769373.3
• 申請日: 2018-07-13
• 公開（公告）號: CN109062505A
• 公開（公告）日: 2018-12-21
• 發(fā)明（設(shè)計）人: 錢琳;梅竹;俞俊;朱廣新;龐恒茂;卜敏;陳海洋;凌陽;王劍;江櫻;宋德炳;許明杰;王琳
• 申請（專利權(quán)）人: 南瑞集團(tuán)有限公司;國電南瑞科技股份有限公司;國網(wǎng)浙江省電力有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 呂朦

本發(fā)明公開了一種緩存策略寫入分層硬件架構(gòu)下的寫性能優(yōu)化方法，根據(jù)卷的數(shù)據(jù)分層控制算法將存儲層分層；將HDD與SSD作為磁盤管理器中的目標(biāo)設(shè)備，聚合成為虛擬設(shè)備Cache存儲器，同時將HDD與SSD區(qū)塊進(jìn)行映射；根據(jù)區(qū)塊映射將對HDD的操作轉(zhuǎn)換為對SSD的操作，實現(xiàn)將熱點數(shù)據(jù)存儲在SSD中的功能。本發(fā)明重點在Cache加速方面對寫性能進(jìn)行優(yōu)化，當(dāng)數(shù)據(jù)量超過存儲容量閾值范圍，進(jìn)行冷熱數(shù)據(jù)的存儲置換，形成多層多級互動存儲趨勢，并實時動態(tài)整合資源信息，在保障數(shù)據(jù)安全性、一致性前提下，在物理存儲與非易失高速存儲中實現(xiàn)最大限度的性能提升。同時用戶可以很方便的根據(jù)自己的需要制定實現(xiàn)存儲資源的管理策略。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)存儲技術(shù)領(lǐng)域，具體涉及一種緩存策略寫入分層硬件的寫性能提升方法。

背景技術(shù)

近年來，隨著大數(shù)據(jù)、云計算等新興技術(shù)的不斷發(fā)展，全球范圍內(nèi)的數(shù)據(jù)急劇增長，對存儲的容量與性能提出了嚴(yán)峻挑戰(zhàn)。分布式文件系統(tǒng)作為支持大數(shù)據(jù)時代的底層的海量數(shù)據(jù)存儲系統(tǒng)成為研究的熱點。數(shù)據(jù)讀寫是分布式文件系統(tǒng)提供的兩個基礎(chǔ)操作，分布式文件系統(tǒng)的讀取操作的性能由于內(nèi)存、SSD等物理介質(zhì)讀性能極高，且讀操作無須考慮數(shù)據(jù)安全性，其研究熱度相較寫操作優(yōu)化沒有受到廣泛關(guān)注。

分布式文件系統(tǒng)在寫入數(shù)據(jù)過程中，需要解決分布式架構(gòu)帶來的寫入數(shù)據(jù)一致性與系統(tǒng)整體性能的矛盾，成為近年來分布式存儲領(lǐng)域的重點關(guān)注問題。存儲領(lǐng)域最為重要的學(xué)術(shù)會議FAST在15、16年度以專題形式對寫優(yōu)化文件系統(tǒng)主題進(jìn)行報道，其中內(nèi)存加速的寫優(yōu)化對于大幅提升系統(tǒng)性能具有支撐作用，如何保障數(shù)據(jù)存儲安全的前提下，有效利用寫緩沖加速頻繁IO帶來的文件系統(tǒng)并發(fā)掛起等待問題是當(dāng)前較為熱門的探討內(nèi)容。

隨著3d-xpoint、SSD、非易失內(nèi)存等超高性能物理介質(zhì)成熟度越來越高，但由于高性能存儲介質(zhì)的容量一般較小，不能對所有數(shù)據(jù)進(jìn)行存儲，利用多層存儲介質(zhì)動態(tài)自適應(yīng)感知的軟件技術(shù)以及應(yīng)用數(shù)據(jù)很大程度具有局部性，在存儲容量與性能之間尋求平衡是分布式文件系統(tǒng)底層存儲優(yōu)化的關(guān)鍵技術(shù)。在實際生產(chǎn)中，flash加速的軟件系統(tǒng)如flashcache、bcache、dmcache、enhanceio等也驗證了理論的應(yīng)用效果。

發(fā)明內(nèi)容

發(fā)明目的：為了解決分布式架構(gòu)帶來的寫入數(shù)據(jù)一致性與系統(tǒng)整體性能之間的平衡問題，本發(fā)明提供一種緩存策略寫入分層硬件架構(gòu)下的寫性能優(yōu)化方法。

本發(fā)明的另一目的是提供一種緩存策略寫入分層硬件架構(gòu)下的寫性能優(yōu)化設(shè)備。

技術(shù)方案：一種緩存策略寫入分層硬件架構(gòu)下的寫性能優(yōu)化方法，包括以下步驟：

步驟一、按照不同功能屬性將存儲層分成多個子存儲層；

步驟二、將HDD 普通磁盤與SSD磁盤作為磁盤管理器中的目標(biāo)設(shè)備，聚合成為一個虛擬設(shè)備Cache存儲器，對Cache存儲器磁盤進(jìn)行區(qū)塊映射,所述區(qū)塊映射為從HDD普通磁盤到SSD磁盤的區(qū)塊映射；

步驟三、接收寫操作的IO請求后，根據(jù)不同子存儲層中數(shù)據(jù)的寫頻率、數(shù)據(jù)量、數(shù)據(jù)大小選擇緩存策略，利用區(qū)塊映射將對HDD普通磁盤的寫操作映射并轉(zhuǎn)發(fā)到對SSD磁盤的寫操作。

進(jìn)一步的，所述步驟二中的區(qū)塊映射采用線性映射，或采用Hash映射。

進(jìn)一步的，步驟三中，采用回寫模式進(jìn)行寫操作。

進(jìn)一步的，步驟三中，全部緩存到SSD磁盤，如果SSD磁盤的空間不夠，則根據(jù)緩存策略，將Cache存儲器中的數(shù)據(jù)同步到HDD普通磁盤；但是當(dāng)SSD磁盤中的臟數(shù)據(jù)達(dá)到預(yù)先設(shè)定的閥值時，將臟數(shù)據(jù)同步到SSD磁盤中。

進(jìn)一步的，所述步驟一的存儲層采用內(nèi)存、SSD、NVM、3D-Xpoint中的一種作為存儲介質(zhì)。

進(jìn)一步的，步驟三的緩存策略包括先進(jìn)先出策略、最近最久未使用策略、最少使用緩存策略、隨機(jī)緩存策略。