[發明專利]一種數據去重方法及裝置

有效

• 申請號: 201410114159.6
• 申請日: 2014-03-25
• 公開（公告）號: CN103902686B
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 周景才
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司44202
• 代理人: 郝傳鑫,熊永強

1.一種數據去重方法，其特征在于，包括：

接收用戶發送的待保存數據，按照預設單位將所述待保存數據切分成多個數據塊，并計算所述多個數據塊中的每個數據塊的指紋；

根據所述用戶的用戶特征從已保存的用戶庫中確定至少一個對比用戶，其中，所述至少一個對比用戶與所述用戶擁有至少一個相同的用戶特征；

將所述至少一個對比用戶對應的指紋作為樣本對比庫；

將所述多個數據塊中的每個待比較數據塊的指紋與所述樣本對比庫中的指紋進行比較；

存儲所述多個數據塊中的差異數據塊；其中，所述差異數據塊中的每個數據塊的指紋與所述至少一個對比用戶對應的指紋均不同；

所述根據用戶的用戶特征從已保存的用戶庫中確定至少一個對比用戶，包括：

根據所述用戶的用戶特征獲取所述用戶的用戶特征碼，將所述用戶的用戶特征碼與預設掩碼進行掩碼計算，得到第一計算結果，其中，所述用戶特征碼用于表征所述用戶的用戶特征；

將所述用戶庫中其他用戶的用戶特征碼分別與所述預設掩碼進行掩碼計算，將所述其他用戶中計算結果為所述第一計算結果的用戶作為對比用戶。

2.如權利要求1所述的方法，其特征在于，所述將所述至少一個對比用戶對應的指紋作為樣本對比庫，包括：

將所述其他用戶中計算結果為所述第一計算結果的所有用戶的指紋作為樣本對比庫。

3.如權利要求1所述的方法，其特征在于，所述將所述至少一個對比用戶對應的指紋作為樣本對比庫，包括：

將所述其他用戶中計算結果為所述第一計算結果的每個用戶根據所述每個用戶的指紋量排序得到對比用戶列表，根據指紋量的大小依次將所述對比用戶列表中的單個用戶的指紋作為樣本對比庫以便與待比較數據塊的指紋進行比較。

4.如權利要求3所述的方法，其特征在于，所述將所述多個數據塊中的每個待比較數據塊的指紋與所述樣本對比庫中的指紋進行比較；存儲所述多個數據塊中的差異數據塊，包括：

將待比較數據塊的指紋與所述用戶列表中的單個用戶的指紋生成的樣本對比庫進行比較；

若當前比較的數據塊的指紋在所述用戶列表中的當前用戶的指紋生成的樣本對比庫中不存在，且所述當前用戶在所述用戶列表中的排序高于指紋量最小的用戶，則將所述當前比較的數據塊歸類為待比較數據塊，以便將待比較數據塊的指紋與所述用戶列表中的下一個用戶的指紋生成的樣本對比庫進行比較；

若所述當前比較的數據塊的指紋在所述用戶列表中的任一單個用戶的指紋生成的樣本對比庫中都不存在，則所述當前比較的數據塊為差異數據塊，存儲所述當前比較的數據塊。

5.如權利要求1-4任一項所述的方法，其特征在于，在所述接收用戶發送的待保存數據，按照預設單位將所述待保存數據切分成多個數據塊，并計算所述多個數據塊中的每個數據塊的指紋之前，還包括：

根據用戶庫中的用戶的用戶特征將所述用戶庫中的用戶分成至少兩組，其中，位于同一組中的用戶具有至少一個相同的用戶特征；

從每組用戶中選取一個當前指紋數量最多的用戶作為對比用戶；

將所有的對比用戶的指紋作為原始樣本對比庫；

在所述根據所述用戶的用戶特征從已保存的用戶庫中選取至少一個對比用戶，將所述至少一個對比用戶對應的指紋作為樣本對比庫之前，還包括：

將所述每個數據塊的指紋與所述原始樣本對比庫中的指紋進行比較，若當前比較的數據塊的指紋在所述原始樣本對比庫中不存在，則將所述當前比較的數據塊歸類為待比較數據塊。