[發(fā)明專利]一種基于非易失內(nèi)存的日志文件系統(tǒng)的小寫優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201711149326.0
• 申請日: 2017-11-18
• 公開（公告）號: CN107784121B
• 公開（公告）日: 2020-04-24
• 發(fā)明（設(shè)計）人: 肖儂;李陽;劉芳
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/13;G06F16/17;G06F16/14
• 代理公司: 湖南省國防科技工業(yè)局專利中心 43102
• 代理人: 馮青

本發(fā)明涉及一種基于非易失內(nèi)存的日志文件系統(tǒng)的性能優(yōu)化方法。該方法將NVM與DRAM連接到CPU內(nèi)存總線上，對小數(shù)據(jù)更新使用原地寫從而最小化內(nèi)存占用，利用小數(shù)據(jù)日志對要更新的數(shù)據(jù)進行細粒度的備份，記錄下文件最新的所要更改的數(shù)據(jù)信息；通過一個固定長度的循環(huán)緩沖區(qū)，存放全局哈希表，記錄下每個更新的起始地址，用于下一次原地更新時對這個數(shù)據(jù)頁的快速索引。記錄下更新數(shù)據(jù)頁的起始地址，用于下一次對此數(shù)據(jù)頁的快速索引；數(shù)據(jù)寫入完成后，通過更新元數(shù)據(jù)指向數(shù)據(jù)塊的指針，更新日志tail對這次寫進行提交，作為此次操作完成的標記。本發(fā)明可以平衡數(shù)據(jù)一致性開銷和性能，減少空間分配成本，避免在小數(shù)據(jù)更新過程中的寫入放大，同時提供強大的數(shù)據(jù)一致性保證。

技術(shù)領(lǐng)域

本發(fā)明涉及基于非易失內(nèi)存的日志文件系統(tǒng)的性能優(yōu)化方法，特別是針對小數(shù)據(jù)更新場景下寫性能的優(yōu)化方法。

背景技術(shù)

目前正在研究和開發(fā)幾種非易失性存儲器技術(shù)(non-volatile memory，NVM)，包括相變存儲器(PCM)、鐵電存儲器(FeRAM)、憶阻器(Memristors)、自旋矩傳輸存儲器(STT-RAM)和3D XPoint等。這些NVM具有容量大、集成度高、漏電功耗低、訪問速度快、非易失性、可字節(jié)尋址等優(yōu)點。由于NVM既具有DRAM的可字節(jié)尋址的特性，又具有磁盤的持久性，數(shù)據(jù)可以在NVM中實現(xiàn)內(nèi)存級別的持久化。持久性內(nèi)存起初通過RAMDISK形式模擬成塊設(shè)備，以兼容傳統(tǒng)文件系統(tǒng)，從而使其受益于內(nèi)存級別的持久化。然而，傳統(tǒng)文件系統(tǒng)并不能完全適用于NVMM，主要有兩個原因：首先，傳統(tǒng)文件系統(tǒng)由于磁盤的塊尋址特性普遍按塊來組織和管理數(shù)據(jù)，當應(yīng)用于NVM時無法利用NVM的字節(jié)尋址來提高系統(tǒng)讀寫性能。其次，傳統(tǒng)文件系統(tǒng)所做的大部分優(yōu)化都是以磁盤的順序讀寫為前提，然而NVM在隨機和順序讀寫上并沒有很大的性能差異。因此，如果針對NVM使用傳統(tǒng)文件系統(tǒng)，其數(shù)據(jù)管理方式將會給系統(tǒng)性能帶來冗余和負擔。因此，當前的文件系統(tǒng)都越過頁緩存直接將NVM通過內(nèi)存總線接入處理器，由處理器以字節(jié)粒度訪問NVM，從而構(gòu)建持久化內(nèi)存文件系統(tǒng)。

對于持久化內(nèi)存文件系統(tǒng)來說，CPU繞過DRAM頁高速緩存來直接訪問NVM，存入NVM的數(shù)據(jù)必須保證一致性才是有效并且可訪問的。而CPU及其緩存層次會對操作進行重排序以提升性能。為了達到這一點，文件系統(tǒng)的操作必須是原子性的，以防止系統(tǒng)在所有操作完成前崩潰產(chǎn)生數(shù)據(jù)結(jié)構(gòu)處于不一致的狀態(tài)。目前主流的文件系統(tǒng)采用一些機制來克服崩潰一致性問題，例如journaling，copy-on-write(COW)和日志結(jié)構(gòu)。然而，這幾種方法都存在缺陷。Journaling會對每次寫操作執(zhí)行兩次以防止數(shù)據(jù)丟失，COW在對數(shù)據(jù)進行更新時先復制原有的數(shù)據(jù)塊再進行更改，這對于小的更新來說會產(chǎn)生寫放大，日志結(jié)構(gòu)是將更新先進行緩存后，統(tǒng)一寫入到目標位置，這在緩存時需要大塊的連續(xù)空間。

此外，通過關(guān)注不同場景下文件的存取模式變化，可以發(fā)現(xiàn)小文件的讀寫操作會對文件系統(tǒng)的性能提升產(chǎn)生重要的影響。傳統(tǒng)塊設(shè)備由于塊尋址和順序讀寫對于小文件的讀寫和小的更新的性能提升上始終受限。隨著NVM的出現(xiàn)，我們就可以應(yīng)用其字節(jié)尋址等性能來重新構(gòu)造數(shù)據(jù)布局，優(yōu)化存取策略，從而實現(xiàn)針對NVM的高性能的文件系統(tǒng)，特別是對于小數(shù)據(jù)集中更新的應(yīng)用場景。

發(fā)明內(nèi)容

為了解決上述的技術(shù)問題，本發(fā)明的目的是提供了一種基于非易失內(nèi)存的日志文件系統(tǒng)的小寫優(yōu)化方法。該方法將NVM與DRAM連接到CPU內(nèi)存總線上，對小數(shù)據(jù)更新使用原地寫從而最小化內(nèi)存占用，利用小數(shù)據(jù)日志對要更新的數(shù)據(jù)進行細粒度的備份，記錄下文件最新的所要更改的數(shù)據(jù)信息；通過一個固定長度的循環(huán)緩沖區(qū)，存放全局哈希表，記錄下每個更新的起始地址，用于下一次原地更新時對這個數(shù)據(jù)頁的快速索引。記錄下更新數(shù)據(jù)頁的起始地址，用于下一次對此數(shù)據(jù)頁的快速索引；數(shù)據(jù)寫入完成后，通過更新元數(shù)據(jù)指向數(shù)據(jù)塊的指針，更新日志tail對這次寫進行提交，作為此次操作完成的標記。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于非易失內(nèi)存的日志文件系統(tǒng)的小寫優(yōu)化方法，包括：