[發明專利]一種文件系統中可配置的實時透明壓縮方法

有效

• 申請號: 201010271788.1
• 申請日: 2010-09-03
• 公開（公告）號: CN101957836A
• 公開（公告）日: 2011-01-26
• 發明（設計）人: 唐力;汪東升
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

技術領域

本發明涉及一種文件系統中可配置的實時透明壓縮方法，屬于計算機數據存儲技術領域。

背景技術

隨著各種數碼設備的廣泛應用，人們需要保存的數字化數據也日益飛速增長。數據壓縮技術通過采用更適合待存儲數據特點的編碼機制，降低存儲數據中的統計冗余度，能夠起到提高存儲空間利用效率和有效節省存儲資源的作用。因此，各種數據壓縮方法在計算機存儲系統中得到了十分廣泛的應用。

目前，在計算機存儲系統中實現數據壓縮的方法主要可分為以下兩類，而無論哪類方法都存在明顯不足。第一類方法是將數據壓縮作為一項獨立于存儲系統之外的可選功能。在這類方法中，數據壓縮通常被實現為工具軟件的形式，首先用壓縮軟件對待存儲的數據進行處理，然后再將處理后得到的壓縮文件保存到存儲系統中。在Windows操作系統下的常用壓縮軟件有WinZip和WinRar等，在Unix/Linux操作系統下也有很多被廣泛應用的壓縮工具可控選擇，如gzip、bzip2和lzma等。

上述方法的缺點主要體現在以下幾個方面。首先，數據壓縮成為數據存儲流程中的一個額外操作過程，由于用戶必須主動使用壓縮軟件對其需要存儲的文件進行壓縮，因此給用戶帶來不便。其次，壓縮后的數據必須先經過解壓縮后才能訪問其內容，由于壓縮軟件通常以一個甚至多個文件作為一次壓縮過程的操作對象，這種粗粒度的壓縮方法將嚴重損害從被壓縮文件中讀取數據以及向被壓縮文件中寫入或修改數據的靈活性和便捷性。最后，壓縮和解壓縮的過程都要求存儲系統中有足夠的空余空間才能順利進行，這是因為在壓縮和解壓縮完成之前，原始數據和生成的壓縮數據需要被同時保存在磁盤上，所以，如果開始時存儲系統中的空余空間小于新生成的數據大小，壓縮或解壓縮的過程就無法順利完成。

另一類在計算機存儲系統中實現數據壓縮的方法是將數據壓縮內嵌入存儲系統之中，所為存儲系統自有的一種能力。這類方法的典型代表是各種支持壓縮功能的文件系統。例如，Windows操作系統下的NTFS文件系統就支持在整個分區上或者分區中的某一文件夾上啟用壓縮功能，啟用壓縮功能后，所有存儲到該分區或文件夾中的文件都會被自動壓縮以節省磁盤空間，當數據被讀出時又會被解壓縮以恢復原狀，由于壓縮和解壓縮的過程都是在NTFS文件系統內部完成，因此除對數據讀寫速度造成一定性能影響外，這種方法實現的數據壓縮功能對用戶幾乎是完全透明的。類似地，在Linux操作系統下也有一些內在支持數據壓縮的文件系統，如JFFS2和e2compr等。

然而，現有的各種支持壓縮功能的文件系統也存在顯著缺點。一旦啟用這些文件系統中的壓縮功能后，所有存儲到文件系統中的文件數據都將被等同地進行壓縮。然而，對不同類型的文件區別對待其實是非常必要的。因為盡管壓縮操作能夠顯著縮小大多數文本文件占用的空間，但并不是對每個文件而言壓縮都是一種明智的選擇。對于某些多媒體類型的文件，例如用MPEG-2編碼的視頻文件和用MP3編碼的音頻文件，它們本身就已經在編碼階段對數據進行了高壓縮比的有損壓縮，這些文件中數據的統計冗余度已經被降到極低的水平，所以，當壓縮文件系統中再一次對這些文件進行無損壓縮算法時，不但難以有效減小這些文件的大小，甚至經常會出現壓縮后的數據反而大于壓縮前數據的情況。因此，壓縮文件系統對這些不宜再被壓縮的文件的壓縮過程并不能帶來有效節省存儲空間的好處，再考慮到壓縮過程對計算資源的額外開銷以及對數據讀、寫性能的負面影響，現有壓縮文件系統中這種不區分文件類型的盲目壓縮方法無疑是不恰當且得不償失的。

發明內容

本發明的目的是提出一種文件系統中可配置的實時透明壓縮方法，通過文件系統驅動模塊截獲來自應用程序的創建文件和向文件中寫入數據的操作命令，然后根據操作命令提供的信息和數據，實時進行數據切塊和重復數據刪除，并只將新產生的數據塊存儲到磁盤上，從而在根本上實現以數據塊為基本存儲單元的文件系統及其存儲和組織結構，達到節省存儲空間的目的。

本發明提出的文件系統中實時刪除重復數據的方法，包括以下步驟：

(1)由用戶根據文件的擴展名或文件的文件夾路徑對文件進行分類，確定需壓縮文件的種類及相應的壓縮算法，并將需壓縮文件的種類及相應的壓縮算法存儲到一個配置文件中；