[發明專利]消除文件存儲系統中冗余文件的系統及方法

有效

• 申請號: 200610036536.4
• 申請日: 2006-07-10
• 公開（公告）號: CN101079034A
• 公開（公告）日: 2007-11-28
• 發明（設計）人: 熊展志;張立明
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市順天達專利商標代理有限公司
• 代理人: 郭偉剛;蔡曉紅

1、一種消除文件存儲系統中冗余文件的系統，包括由存儲服務器模塊和索引服務器模塊組成的海量存儲系統，其特征在于，還包括：

預處理模塊，用于獲取文件MD5值、文件大小及文件的引用數；

快速存取模塊，包括內存哈希映射表及哈希表；

去重服務器模塊，用于通過哈希算法將文件MD5值進行哈希變換后，經由內存哈希映射表映射到對應哈希表，在文件的引用數超過最小引用數時，直接根據文件生成節點并將節點加入所述哈希表；在文件的引用數小于最小引用數時，將該文件的引用數加到映射表中與該文件的MD5值和文件大小都相同的節點，并在哈希表中的節點引用數達到最大引用數時，對節點文件進行去重操作；

其中所述索引服務器模塊、存儲服務器模塊、預處理模塊依次連接，快速存取模塊、索引服務器模塊、存儲服務器模塊、預處理模塊分別與去重服務器模塊連接。

2、根據權利要求1所述的消除文件存儲系統中冗余文件的系統，其特征在于，所述預處理模塊進一步包括將文件存儲系統中容量小但數量較多的文件過濾的過濾子模塊。

3、根據權利要求1所述的消除文件存儲系統中冗余文件的系統，其特征在于，所述去重服務器模塊在去重操作時對所述引用數達到最大引用數的節點對應文件進行硬鏈接并刪除所述節點對應的文件。

4、根據權利要求1所述的消除文件存儲系統中冗余文件的系統，其特征在于，還包括一派發服務器，所述預處理模塊和去重服務器模塊通過該派發服務器相連接，所述去重服務器模塊包括多個去重服務器，所述派發服務器用于將文件派發給不同的去重服務器進行處理。

5、一種消除文件存儲系統中冗余文件的方法，所述文件分布存儲于海量存儲系統的存儲服務器模塊中，并通過索引服務器模塊進行文件的定位，其特征在于，包括以下步驟：

(a)通過掃描存儲服務器模塊獲取文件相關信息并計算文件內容的MD5值，其中文件相關信息包括文件ID、文件大小及文件引用數；

(b1)通過文件MD5值進行哈希運算，并通過內存哈希映射表并找到相應的哈希表；

(b2)判斷所述文件引用數是否超過最小引用數，并在所述文件的引用數超過所述最小引用數時將所述文件插入到哈希表頭，并返回步驟(b1)；

(b3)在所述文件的引用數小于最小引用數時搜尋哈希表找到MD5值和文件大小與所述文件都相等的節點，并將所述節點的引用數加上所述文件的引用數；

(b4)判斷所述節點的引用數是否小于一個最大引用數，并在所述節點的引用數小于所述最大引用數時返回步驟(b1)；而在所述節點的引用數超過所述最大引用數時對所述節點進行去重操作，并在操作完成后返回步驟(b1)。

6、根據權利要求5所述的消除文件存儲系統中冗余文件的方法，其特征在于，所述步驟(a)中進一步包括過濾掉非重點文件而保留容量相對較大但數量相對較少的文件的步驟。

7、根據權利要求6所述的消除文件存儲系統中冗余文件的方法，其特征在于，所述步驟(a)中還包括將過濾后的文件根據去重策略分配到不同去重服務器的步驟。

8、根據權利要求5所述的消除文件存儲系統中冗余文件的方法，其特征在于，所述步驟(b4)進一步包括：

步驟(b41)：將所述節點的信息返回給存儲服務器模塊，并在哈希表中刪除所述節點；

步驟(b42)：存儲服務器模塊對所述節點對應的文件ID建立硬鏈接，并返回新的文件ID，索引服務器模塊將所述文件的文件ID更新為上述新的文件ID。