[發明專利]一種處理數據的方法及裝置

在審

• 申請號: 201310499196.9
• 申請日: 2013-10-22
• 公開（公告）號: CN103544275A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 鐘延輝;謝勇;付旭東
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種處理數據的方法，其特征在于，包括：

對原始文件進行重復數據刪除處理，獲得重復數據刪除處理后的文件的元數據；

根據所述元數據對所述重復數據刪除處理后的文件進行聚類和分類中的至少一種處理。

2.如權利要求1所述的方法，其特征在于，所述根據所述元數據對所述重復數據刪除處理后的文件進行聚類處理，包括：

為所述重復數據刪除處理后的每個文件生成二維特征值，所述二維特征值由所述元數據中的第一標識信息與第二標識信息組成，所述第一標識信息為所述元數據所在的數據塊所對應的存儲單元的標識，所述第二標識信息為所述元數據所在的數據塊的標識或所述元數據所在的數據塊的指紋；

根據聚類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否聚為一類。

3.如權利要求1所述的方法，其特征在于，所述根據所述元數據對所述重復數據刪除處理后的文件進行分類處理，包括：

為所述重復數據刪除處理后的每個文件生成二維特征值，所述二維特征值由所述元數據中的第一標識信息與第二標識信息組成，所述第一標識信息為所述元數據所在的數據塊所對應的存儲單元的標識，所述第二標識信息為所述元數據所在的數據塊的標識或所述元數據所在的數據塊的指紋；

根據分類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否分為一類。

4.如權利要求1所述的方法，其特征在于，所述根據所述元數據對所述重復數據刪除處理后的文件進行聚類處理，包括：

為所述重復數據刪除處理后的每個文件生成一維特征值，所述一維特征值由所述元數據所在的數據塊的指紋組成；

根據聚類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否聚為一類。

5.如權利要求1所述的方法，其特征在于，所述根據所述元數據對所述重復數據刪除處理后的文件進行分類處理，包括：

為所述重復數據刪除處理后的每個文件生成一維特征值，所述一維特征值由所述元數據所在的數據塊的指紋組成；

根據分類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否分為一類。

6.一種處理數據的裝置，其特征在于，包括：

重復數據刪除單元，用于對原始文件進行重復數據刪除處理，獲得重復數據刪除處理后的文件的元數據；

數據挖掘單元，用于根據所述元數據對所述重復數據刪除處理后的文件進行聚類和分類中的至少一種處理。

7.如權利要求6所述的裝置，其特征在于，所述數據挖掘單元，具體包括：

第一生成單元，用于為所述重復數據刪除處理后的每個文件生成二維特征值，所述二維特征值由所述元數據中的第一標識信息與第二標識信息組成，所述第一標識信息為所述元數據所在的數據塊所對應的存儲單元的標識，所述第二標識信息為所述元數據所在的數據塊的標識或所述元數據所在的數據塊的指紋；

第一計算單元，用于根據聚類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否聚為一類。

8.如權利要求6所述的裝置，其特征在于，數據挖掘單元，具體包括：

第二生成單元，用于為所述重復數據刪除處理后的每個文件生成二維特征值，所述二維特征值由所述元數據中的第一標識信息與第二標識信息組成，所述第一標識信息為所述元數據所在的數據塊所對應的存儲單元的標識，所述第二標識信息為所述元數據所在的數據塊的標識或所述元數據所在的數據塊的指紋；

第二計算單元，用于根據分類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否分為一類。

9.如權利要求6所述的裝置，其特征在于，所述數據挖掘單元，具體包括：

第三生成單元，用于為所述重復數據刪除處理后的每個文件生成一維特征值，所述一維特征值由所述元數據所在的數據塊的指紋組成；

第三計算單元，用于根據聚類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否聚為一類。

10.如權利要求6所述的裝置，其特征在于，所述數據挖掘單元，具體包括：

第四生成單元，用于為所述重復數據刪除處理后的每個文件生成一維特征值，所述一維特征值由所述元數據所在的數據塊的指紋組成；

第四計算單元，用于根據分類算法對所述重復數據刪除處理后的文件中每兩個文件的二維特征值進行運算，根據運算結果確定所述兩個文件是否分為一類。