[發明專利]一種堆疊式重復數據刪除文件系統

在審

• 申請號: 201310541623.5
• 申請日: 2013-11-05
• 公開（公告）號: CN103617177A
• 公開（公告）日: 2014-03-05
• 發明（設計）人: 王恩東;文中領;張立強;孟圣智
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王丹;栗若木

技術領域

本發明涉及計算機存儲領域，具體涉及一種基于堆疊式文件系統技術實現的重復數據刪除文件系統。

背景技術

在大型存儲系統中，數據急速增長與存儲設備升級相對緩慢的矛盾較為尖銳，為了緩解存儲系統的空間增長問題，縮減數據占用的空間，降低成本，最大化利用已有資源，重復數據刪除技術已經成為大型系統中必不可少的關鍵技術。

通過使用重復數據刪除技術，用戶可以獲得明顯的數據縮減效果，可以大大降低存儲系統的帶寬需求，降低運營成本和維護成本。通過數據縮減使得后端實際的存儲容量大大縮減，由此帶來了更簡潔的存儲管理，有效降低了管理成本。

然而目前流行的重復數據刪除方案，多為面向近線存儲和備份存儲的重刪方案，而且往往與備份系統緊密結合，因而無法提供一般性的文件系統服務。能夠在在線系統中直接提供重復數據刪除功能的產品較少，且均需要使用專有的文件系統格式，這些專有的文件系統往往在性能、功能、可靠性、可擴展性方面均存在諸多限制，使得在大型在線存儲系統中直接應用存在一定困難。

已有的大型存儲系統往往基于成熟的文件系統構建，如ext3、ext4、xfs、lustre等，這類文件系統本身并不具備重復數據刪除的功能，而如果要使用重復數據刪除功能，則面臨著需要使用專有的文件系統，忍受明顯可感知的性能降低，并進行大規模的數據遷移，這帶來極高的時間和空間成本，在已經有大量數據的存儲系統中，基本上沒有可行性，成本過高。

針對這一現狀，本發明設計了一種堆疊式重復數據刪除文件系統，能夠基于已有的成熟的文件系統提供重復數據刪除功能，充分保持原有存儲系統的性能，同時幾乎不需要進行任何數據遷移。

發明內容

本發明設計并實現了一種堆疊式重復數據刪除文件系統，能夠充分利用已有存儲系統的存儲能力，無需升級硬件最大限度地節省投資，通過堆疊式的軟件設計，在已有的文件系統上提供重復數據刪除功能，優化數據存儲結構，降低存儲系統的空間占用。

所述系統包括：

文件系統服務模塊，對于正常的數據，采用直接接口轉換的方式將底層文件系統的數據導入本文件系統中；對于進行了重復數據刪除的數據，讀取相應的數據屬性標識，進行IO流程的重定向，實現重刪后數據的透明無縫訪問；

重刪服務模塊，讀取文件系統服務模塊導出的文件系統日志數據，解析日志內容后進行數據簽名的計算、重復數據的檢測和刪除，完成重刪后對數據進行標識。

本發明的有益效果是：基于堆疊式文件系統的設計可以充分利用現有的存儲系統，僅通過安裝本專利描述的軟件系統即可使已有的文件系統支持重復數據刪除功能以節省存儲空間，無需遷移數據，同時保持了原有存儲系統的IO性能，實現充分的設備利舊和投資保護。

附圖說明

附圖1為本專利所提出的堆疊式重復數據刪除文件系統的架構示意圖。

具體實施方式

下面參照附圖1，對本發明的內容以一個具體實例來描述實現這一體系結構的過程。

正如發明內容中所描述的，本發明體系結構主要包括：文件系統服務模塊、重刪服務模塊。

文件系統服務模塊實現了一個完整支持POSIX協議的文件系統，其采用了堆疊式文件系統的設計策略，通過在文件系統接口層的映射和重寫，將底層文件系統的服務完整實現。對于正常的數據，本模塊采用直接接口轉換的方式將底層文件系統的數據導入本文件系統中，實現了正常數據的無縫訪問。對于進行了重復數據刪除的數據，本模塊根據本發明所描述的文件系統的約定，讀取相應的數據屬性標識，進行IO流程的重定向，實現重刪后數據的透明無縫訪問。

重刪服務模塊在帶外獨立運行，其采用多線程設計，充分利用多核系統的并行計算能力，提供超高速的重復數據刪除功能。本模塊讀取文件系統服務模塊導出的文件系統日志數據，解析日志內容后進行數據簽名的計算、重復數據的檢測和刪除，完成重刪后對數據進行標識。本模塊可與文件系統服務模塊同時運行，通過文件系統服務模塊內設計的細粒度鎖，保證數據處理的原子性，提供可靠的并行數據處理能力。

在一個典型的配置環境里，文件系統服務模塊、重刪服務模塊可作為一般應用軟件安裝到主機系統中。在進行了相關的軟件配置后，可啟動文件系統服務模塊、重刪服務模塊，此時已經能夠在主機上掛載本發明描述的文件系統，并能夠進行數據訪問。在一段時間的文件系統IO完成后，重刪服務模塊能夠自動地進行數據簽名的計算，并根據配置參數進行重復數據的檢測和刪除，并完成重刪后數據的標記。