[發(fā)明專利]基于非易失內(nèi)存設(shè)備的數(shù)據(jù)去冗余系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710077383.6
• 申請日: 2017-02-14
• 公開（公告）號: CN106775501B
• 公開（公告）日: 2019-06-11
• 發(fā)明（設(shè)計）人: 李丁丁;唐立杰;田曉甲;湯庸
• 申請（專利權(quán)）人: 華南師范大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林瑞云

本發(fā)明涉及一種基于非易失內(nèi)存設(shè)備的數(shù)據(jù)去冗余系統(tǒng)，包括基于NVRAM的新型內(nèi)核文件系統(tǒng)模塊，為一制定文件系統(tǒng)，位于內(nèi)核的文件系統(tǒng)層次；用戶空間文件系統(tǒng)模塊，為一個位于用戶空間中的特殊進(jìn)程，可以向其他進(jìn)程提供與NVRAM進(jìn)行交互的中間層或者虛擬層；數(shù)據(jù)去冗余方法及其系統(tǒng)整合方式模塊，提供具體的去冗余邏輯給所述的用戶空間文件系統(tǒng)。NVRAM的新型內(nèi)核文件系統(tǒng)模塊用于改進(jìn)傳統(tǒng)文件系統(tǒng)對于NVRAM存儲介質(zhì)的性能次優(yōu)性；用戶空間文件系統(tǒng)用于以一種較低代價并友好的方式來接入去冗余功能；數(shù)據(jù)去冗余方法及其系統(tǒng)整合方式模塊將具體的去冗余邏輯加入到了FUSE中，在CPU+NVRAM架構(gòu)上產(chǎn)生了真正的數(shù)據(jù)去冗余效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于非易失內(nèi)存設(shè)備的數(shù)據(jù)去冗余系統(tǒng)。

背景技術(shù)

數(shù)據(jù)去冗余的技術(shù)主要是指：在計算機(jī)的某一個存儲層次，例如是在內(nèi)存或者外存，通過消除具備相同數(shù)據(jù)的內(nèi)存頁面或者數(shù)據(jù)塊，從而達(dá)到節(jié)省存儲設(shè)備的空間及改善寫操作性能下降現(xiàn)象的一種技術(shù)。

首先內(nèi)存去冗余技術(shù)。在這里去冗余的對象數(shù)據(jù)存在于操作系統(tǒng)的內(nèi)存子系統(tǒng)當(dāng)中。考慮到當(dāng)前常見的DRAM(Dynamic Random Access Memory，動態(tài)隨機(jī)訪問內(nèi)存設(shè)備)內(nèi)存設(shè)備是揮發(fā)的，因此，一般而言，處于內(nèi)存中的數(shù)據(jù)是不可靠的，不具備持久性。并且，由于DRAM更加接近CPU，所以在此層次執(zhí)行去冗余的操作，會較為容易地產(chǎn)生CPU性能敏感型的操作，這些操作容易對應(yīng)用程序產(chǎn)生干擾。所以，在內(nèi)存中想要實現(xiàn)去冗余的功能，一般采用離線(off-line)的方式進(jìn)行。也即，當(dāng)應(yīng)用程序往內(nèi)存中產(chǎn)生了新的內(nèi)存頁面數(shù)據(jù)后，由獨(dú)立的系統(tǒng)模塊或者例程對其進(jìn)行檢測，查看當(dāng)前是否系統(tǒng)中存在一個已經(jīng)包含了相同的內(nèi)存頁面，如果有，則保存相應(yīng)的元數(shù)據(jù)信息，真實的數(shù)據(jù)不必寫入一個新的內(nèi)存頁面，因為要寫的數(shù)據(jù)在當(dāng)前系統(tǒng)中已經(jīng)存在；如果沒有，則執(zhí)行該內(nèi)存寫入操作。由于該獨(dú)立模塊或例程與應(yīng)用程序無關(guān)，在多核環(huán)境下，通過將去冗余的邏輯與應(yīng)用程序的邏輯分布在不同的CPU核心上，會具有較好的內(nèi)存去冗余性能。

值得注意的是，在傳統(tǒng)的存儲體系結(jié)構(gòu)下，由于DRAM保存的一般為進(jìn)程運(yùn)行時的動態(tài)數(shù)據(jù)，例如：堆棧、打開的文件表信息等信息，因此，一般位于內(nèi)存去冗余的技術(shù)只針對該類數(shù)據(jù)進(jìn)行去冗余，而對于內(nèi)存中的文件系統(tǒng)的高速頁面緩存I/O數(shù)據(jù)則不予考慮，這是因為在外存中會存在另一數(shù)據(jù)副本與其對應(yīng)，其屬于外存去冗余技術(shù)的范圍。

內(nèi)存去冗余代表技術(shù)最為出名的為KSM(Kernel Samepage Merging，Linux相同頁面合并機(jī)制)。該技術(shù)目前運(yùn)行于基于Linux內(nèi)核(大于或者等于版本號2.6.32)的操作系統(tǒng)之中，主要去冗余邏輯和程序運(yùn)行于內(nèi)核級，并且在掃描潛在的冗余內(nèi)存頁面時，為了減小掃描的開銷，需要借助于高級語義的幫助，例如：一個應(yīng)用程序在分配內(nèi)存時，發(fā)覺它即將寫入的內(nèi)存數(shù)據(jù)可能會在系統(tǒng)中產(chǎn)生冗余，然后執(zhí)行系統(tǒng)調(diào)用madvise()，以此來通知內(nèi)核的KSM模塊，告知后者將此被新寫入數(shù)據(jù)的內(nèi)存頁面作為去冗余的掃描的候選對象，以此來達(dá)到縮小工作集大小而減輕系統(tǒng)開銷的目的。從上述過程可以看出兩點(diǎn)：(1)該去除冗余的過程并不需要應(yīng)用程序進(jìn)行過多的參與(僅僅需要執(zhí)行系統(tǒng)調(diào)用madvise以通知內(nèi)核)，因此，該技術(shù)屬于離線去冗余技術(shù)的范疇；(2)去冗余的對象僅僅針對應(yīng)用進(jìn)程分配的內(nèi)存相關(guān)，與其將讀寫的文件或者IO數(shù)據(jù)沒有直接聯(lián)系。

宋瑩等人于2014年提出了一種基于KSM改進(jìn)的一種低開銷的高效內(nèi)存去冗余方法及系統(tǒng)，申請?zhí)枮?01410231580，從該申請文檔中可以開出，該方法及系統(tǒng)主要特征和優(yōu)點(diǎn)是降低了KSM的運(yùn)行時開銷，其所面對的去冗余對象以及去冗余所在的系統(tǒng)層次皆和KSM相同。