[發明專利]重復數據查找方法、裝置及系統

無效

• 申請號: 201110412056.4
• 申請日: 2011-12-12
• 公開（公告）號: CN102495894A
• 公開（公告）日: 2012-06-13
• 發明（設計）人: 黃焰;謝勇
• 申請（專利權）人: 成都市華為賽門鐵克科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種重復數據查詢的方法，其特征在于，包括：

對文件進行分塊，生成每個分塊數據的元數據信息，其中所述分塊數據的元數據信息中包括所述分塊數據的指紋信息；

根據分塊數據的指紋信息將分塊數據的指紋信息發送給元數據服務器，以指令所述元數據服務器查詢所述分塊數據的指紋信息是否已經存儲在數據庫中，并返回查詢結果；

接收所述查詢結果，當查詢結果顯示所述分塊數據的指紋信息沒有存儲在數據庫中時，將所述分塊數據的指紋信息對應的分塊數據存儲到共享文件系統中，并指令元數據服務器在數據庫中插入所述分塊數據的指紋信息對應的分塊數據元數據信息；當查詢結果顯示所述分塊數據的指紋信息在數據庫中已經存在時，指令元數據服務器更新所述分塊數據的指紋信息在所述數據庫中對應的分塊數據的引用計數。

2.根據權利要求1所述的方法，其特征在于，所述分塊數據的元數據信息中還包括分塊數據的引用計數，將分塊數據的指紋信息發送給元數據服務器之前，還包括：

根據分塊數據的指紋信息查找相同分塊數據，將相同分塊數據記錄為一個分塊數據，并根據相同分塊數據的數量更新所記錄的該分塊數據對應的元數據信息中的引用計數。

3.根據權利要求1所述的方法，其特征在于，所述根據分塊數據的指紋信息將分塊數據的指紋信息發送給元數據服務器，包括：

根據分塊數據的指紋信息確定所述指紋信息在哪一個預置的指紋信息分段；

根據確定的指紋信息分段，將分塊數據的指紋信息發送至與所述確定的指紋信息分段對應的元數據服務器。

4.根據權利要求3所述的方法，其特征在于，所述分塊數據的指紋信息為分塊數據的哈希值；所述預置的指紋信息分段為哈希值分段，每個元數據服務器對應m/n個不同的哈希分段，其中，m為所述哈希值分段的個數，n為元數據服務器個數。

5.根據權利要求1-4任一所述的方法，其特征在于，還包括：

根據所述文件的分塊數據在共享文件系統中的存放信息，生成記錄文件以替換所述文件；

當需要恢復所述文件中的數據時，通過所述記錄文件，讀取所述文件的分塊數據在所述共享文件系統中的存放信息，獲得文件的分塊數據以恢復所述文件中的數據。

6.一種重復數據查找裝置，其特征在于，包括：

數據劃分模塊，用于對文件進行分塊，生成每個分塊數據的元數據信息，其中所述分塊數據的元數據信息中包括所述分塊數據的指紋信息；

發送模塊，用于根據分塊數據的指紋信息將分塊數據的指紋信息發送給元數據服務器，以使元數據服務器在數據庫中查找所述接收的分塊數據的指紋信息是否已經存儲在數據庫中，并返回查詢結果；

查詢結果處理模塊，接收所述查詢結果，當在數據庫中沒有查詢到所述分塊數據指紋信息時，將分塊數據指紋信息對應的分塊數據存儲到共享文件系統中，并指令元數據服務器在數據庫中插入該分塊數據指紋信息對應的元數據信息；當在數據庫中查詢到分塊數據指紋信息時，指令元數據服務器更新該指紋信息在數據庫中對應的分塊數據的引用計數。

7.根據權利要求6所述的裝置，其特征在于，所述數據劃分模塊生成的所述分塊數據的元數據信息中還包括分塊數據的引用計數，該裝置還包括：

整合模塊，用于將分塊數據的指紋信息發送給元數據服務器之前，根據分塊數據的指紋信息查找相同分塊數據，將相同分塊數據記錄為一個分塊數據，并根據相同分塊數據的數量更新記錄的該分塊數據對應的元數據信息中的引用計數。

8.根據權利要求6或7所述的裝置，其特征在于：

所述查詢結果處理模塊，還用于根據所述文件的分塊數據在共享文件系統中的存放信息，生成記錄文件以替換所述文件；

還包括：

數據恢復模塊，用于當需要恢復所述文件的數據時，通過所述記錄文件，讀取所述文件的分塊數據在所述共享文件系統中的存放信息，獲得文件的分塊數據以恢復所述文件中的數據。

9.根據權利要求6或7所述的裝置，其特征在于，所述發送模塊，具體用于根據分塊數據的指紋信息確定所述指紋信息在哪一個預置的指紋信息分段；根據確定的指紋信息分段，將分塊數據的指紋信息發送至與所述確定的指紋信息分段對應的元數據服務器，以使所述元數據服務器確定所述接收的分塊數據的指紋信息是否已經存儲在數據庫中，并返回查詢結果。

10.一種重復數據查找系統，其特征在于，包括：

重復數據查找裝置，用于對文件進行分塊，生成每個分塊數據的元數據信息，其中所述分塊數據的元數據信息中包括所述分塊數據的指紋信息；用于根據分塊數據的指紋信息將分塊數據的指紋信息發送給元數據服務器指令元數據服務器進行重復數據查詢；接收元數據服務器返回的查詢結果，當在數據庫中沒有查詢到所述分塊數據指紋信息時，將分塊數據指紋信息對應的分塊數據存儲到共享文件系統中，并指令元數據服務器在數據庫中插入所述分塊數據元數據信息；當在數據庫中查詢到分塊數據指紋信息時，指令元數據服務器更新該指紋信息對應的分塊數據的引用計數；

元數據服務器，用于接收所述重復數據查找裝置發送的將分塊數據的指紋信息，在數據庫中查找所接收的分塊數據的指紋信息是否已經在數據庫中存在，并向所述重復數據查找裝置返回查詢結果；執行所述重復數據查找裝置發送的更新所查找的指紋信息對應的分塊數據的引用計數的指令及將接收到的元數據信息插入數據庫的指令；

數據庫，用于存儲分塊數據的元數據信息，其中，元數據信息中包括分塊數據的指紋信息及該分塊數據被引用的次數。