[發明專利]一種重復數據確定方法、系統及分布式存儲系統

在審

• 申請號: 201710521604.4
• 申請日: 2017-06-30
• 公開（公告）號: CN107273536A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 張子奇
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

1.一種重復數據確定方法，其特征在于，應用于分布式存儲系統，包括：

判斷目標寫入數據的數據指紋是否存在于預設的數據指紋字典中；其中，所述數據指紋字典為用于存儲特定數據指紋的數據庫，所述特定數據指紋為所述分布式存儲系統中滿足預設數據篩選條件的數據的指紋；

若所述目標寫入數據的數據指紋存在于所述數據指紋字典中，則將所述目標寫入數據確定為重復數據。

2.根據權利要求1所述的方法，其特征在于，所述預設數據篩選條件為用于對所述分布式存儲系統中數據類型與預設類型相一致的數據進行篩選的篩選條件。

3.根據權利要求1所述的方法，其特征在于，所述預設數據篩選條件為用于從所述分布式存儲系統中對被訪問頻率大于預設頻率閾值的數據進行篩選的篩選條件。

4.根據權利要求1所述的方法，其特征在于，所述預設數據篩選條件為用于從所述分布式存儲系統中對數據安全系數大于預設系數閾值的數據進行篩選的篩選條件。

5.根據權利要求1至4任一項所述的方法，其特征在于，還包括：

將所述數據指紋字典預先存儲于所述分布式存儲系統的內存中。

6.一種重復數據確定系統，其特征在于，應用于分布式存儲系統，包括：

數據判斷模塊，用于判斷目標寫入數據的數據指紋是否存在于預設的數據指紋字典中；其中，所述數據指紋字典為用于存儲特定數據指紋的數據庫，所述特定數據指紋為所述分布式存儲系統中滿足預設數據篩選條件的數據的指紋。

數據確定模塊，用于若所述目標寫入數據的數據指紋存在于所述數據指紋字典中，則將所述目標寫入數據確定為重復數據。

7.根據權利要求6所述的系統，其特征在于，還包括：

第一字典創建模塊，用于創建存儲第一類特定數據指紋的數據指紋字典；

其中，所述第一類特定數據指紋為所述分布式存儲系統中滿足第一預設數據篩選條件的數據指紋，并且，所述第一預設數據篩選條件為用于對所述分布式存儲系統中數據類型與預設類型相一致的數據進行篩選的篩選條件；

第一篩選單元，用于對所述分布式存儲系統中數據類型與預設類型相一致的數據進行篩選。

8.根據權利要求6所述的系統，其特征在于，還包括：

第二字典創建模塊，用于創建存儲第二類特定數據指紋的數據指紋字典；

其中，所述第二類特定數據指紋為所述分布式存儲系統中滿足第二預設數據篩選條件的數據指紋，并且，所述第二預設數據篩選條件為用于對所述分布式存儲系統中對被訪問頻率大于預設頻率閾值的數據進行篩選的篩選條件。

第二篩選單元，用于對所述分布式存儲系統中對被訪問頻率大于預設頻率閾值的數據進行篩選。

9.根據權利要求6所述的系統，其特征在于，還包括：

第三字典創建模塊，用于創建存儲第三類特定數據指紋的數據指紋字典；

其中，所述第三類特定數據指紋為所述分布式存儲系統中滿足第三預設數據篩選條件的數據指紋，并且，所述第三預設數據篩選條件為用于對所述分布式存儲系統中對數據安全系數大于預設系數閾值的數據進行篩選的篩選條件。

第三篩選單元，用于對所述分布式存儲系統中對數據安全系數大于預設系數閾值的數據進行篩選。

10.根據權利要求6至9任一項所述的系統，其特征在于，還包括：

數據存儲模塊，用于將所述數據指紋字典預先存儲于所述分布式存儲系統的內存中。

11.一種分布式存儲系統，其特征在于，包括如權利要求6至10任一項所述的重復數據確定系統。