[發明專利]一種消冗文件系統及其數據部署方法

有效

• 申請號: 201410717339.3
• 申請日: 2014-12-01
• 公開（公告）號: CN104408141B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 吳震;陳訓遜;王洋;薛晨;謝銘;孫憲武
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心;北京賽思信安技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京永創新實專利事務所11121
• 代理人: 趙文穎

技術領域

本發明屬于數據存儲領域，涉及重復數據刪除技術及NFS共享結合，具體涉及一種消冗文件系統及其數據部署方法。

背景技術

互聯網時代，數據爆炸增長的時代，數據存儲的壓力越來越大的同時，對于系統的讀、寫性能要求也越來越高，隨著重復數據刪除技術日出成熟，應用也越來越廣泛，NAS中的NFS共享功能的性能要求也同樣是越來越高。

對于后端接入重復數據刪除系統的NFS共享功能，雖然有了數據存儲能力的顯著提升，但是，同時也是犧牲了很大性能，這樣極大的降低了用戶的體驗效果。

重復數據刪除系統和NFS結合存在性能問題主要是因為數據傳輸為異步形式，這樣就導致了重復數據刪除系統數據收取時接收到隨機位置的數據塊，為了保證寫入順序需要在內存中全部保存，直到數據塊依次收取并保存下來，系統內存才得以釋放，由于內存有限，如果積壓數據塊較多則會導致大量數據被迫寫入到交換分區，這樣會大大降低系統的性能。

發明內容

本發明的目的是為了解決上述問題，提供一種消冗文件系統及其數據部署方法，能夠降低數據寫入時數據塊積壓的方案，盡快釋放有限的內存，提高系統性能的重復數據刪除系統的數據塊存儲布局方式。

一種消冗文件系統的數據部署方法，具體步驟如下：

步驟1：重復數據刪除文件系統接收NFS協議寫入的數據流；

步驟2：將步驟1接收到的數據流根據協議分塊；

步驟3：將分好塊的數據分配到對應的數據域的隊列；

步驟4：判斷數據域是否出現局部順序，如果局部連續進入步驟5，否則進入步驟6；

步驟5：將數據塊寫入局部數據域；

步驟6：判斷局部數據域的數據是否超出了預定值，如果超出進入步驟5，否則進入步驟7；

步驟7：判斷是否符合文件系統預讀邏輯順序，如果符合則進入步驟5，否則進入步驟8；

步驟8：判斷緩存是否超出了閾值，如果超出則進入步驟5，否則進入步驟9；

步驟9：將數據塊緩存到對應的局部數據域的緩存隊列。

一種消冗文件系統，包括文件系統數據接收模塊，數據分塊模塊，數據塊管理模塊，數據塊存儲模塊，數據塊索引存儲模塊；

所述文件系統數據接收模塊接收NFS協議傳輸過來的數據流；

所述數據分塊模塊將接收到的數據流切分成數據塊；

所述數據塊管理模塊將切分好的數據塊分配到數據域的數據塊隊列，然后再判斷數據塊在數據域內部是否嚴格順序或者滿足操作系統預讀的邏輯順序，根據內存管理模塊判定規則決定數據塊是繼續緩存還是寫入數據文件內；

所述數據存儲模塊根據數據塊管理模塊分配的任務來對數據塊進行存儲；

所述數據塊索引存儲模塊根據數據塊存儲模塊生成的數據塊索引；

所述的數據塊管理模塊包括數據域分配模塊，數據塊隊列緩存模塊，數據塊局部順序判斷模塊，內存管理模塊；

所述數據域分配模塊是指根據所收到的數據塊的全局序號和數據域分配規則來對數據塊進行數據域分配，數據塊為變長；

所述數據塊隊列緩存模塊對于數據域分配模塊生成的鏡像隊列，用來緩存被判斷為非順序的數據塊；

所述數據塊局部順序判斷模塊通過數據塊的全局序號和其所在隊列的被標記為入庫的序號比對，如果滿足嚴格順序或者是相對順序的則交由內存管理模塊根據閾值確定是緩存還是強行寫入數據文件；

所述內存管理模塊對消冗文件系統內全部數據塊緩存域緩存空間申請釋放管理的功能，保證寫入數據塊的順序性的同時兼顧系統性能。

本發明的優點在于：

本發明通過對亂序的數據塊進行了局部分區域排序處理，盡可能早的數據塊順序寫入，降低了數據塊積壓，提前釋放了內存，提高了系統的寫入性能。對于重復數據刪除在NFS共享結合上的應用又深入了一層，使NAS中NFS共享功能的應用場景和應用前景有了進一步的擴大。

附圖說明

圖1為本發明具體實施的一種消冗文件系統的數據部署方法的流程圖；

圖2為本發明具體實施的一種消冗文件系統結構框圖。

圖中：

1-文件系統數據接收模塊 2-數據分塊模塊3-數據塊管理模塊

4-數據塊存儲模塊 5-數據塊索引存儲模塊

數據域分配模塊31 數據塊隊列緩存模塊32數據塊局部順序判斷模塊33

內存管理模塊34

具體實施方式

下面將結合附圖和實施例對本發明作進一步的詳細說明。