[發明專利]數據去重的方法及裝置

有效

• 申請號: 201710010119.0
• 申請日: 2017-01-06
• 公開（公告）號: CN108280085B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 路博;王躍;方詩旭;張育雄;郭麗;楊小燕;劉藝
• 申請（專利權）人: 工業和信息化部電信研究院
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 任媛

1.一種數據去重的方法，其特征在于，包括：

根據獲取的目標數據構建最長公共子串表；

提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較；

若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理；

其中，每個目標數據指代一個對象，存入所述最長公共子串表中的最長公共子串至少對應兩個不同的對象。

2.根據權利要求1所述的方法，其特征在于，所述根據獲取的目標數據構建最長公共子串表，包括：

根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串；

檢測每個數據集合中的目標數據指代的對象是否相同，若不相同，則將該數據集合對應的最大公共子串存入最大公共子串表。

3.根據權利要求2所述的方法，其特征在于，根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串，包括：

對獲取的目標數據進行兩兩比對，提取最長公共子串；

將具有相同最長公共子串的應用放入同一數據集合，所述相同最長公共子串為所述數據集合對應的最大公共子串。

4.根據權利要求1所述的方法，其特征在于，所述提取兩個需要進行去重判斷的數據的最長公共子串，包括：逐個比較兩個需要進行去重判斷的數據中相同位置的字符，若比較的字符相同，則繼續比較下一個字符，直到比較的字符不同為止，提取出相同的字符為最長公共子串。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述目標數據和所述數據均為應用的應用名稱。

6.一種數據去重的裝置，其特征在于，包括：

最長公共子串表構建模塊，用于根據獲取的目標數據構建最長公共子串表；

去重判斷模塊，用于提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較，若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理；

其中，每個目標數據指代一個對象，存入所述最長公共子串表中的最長公共子串至少對應兩個不同的對象。

7.根據權利要求6所述的裝置，其特征在于，所述最長公共子串表構建模塊具體用于：

根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串；

檢測每個數據集合中的目標數據指代的對象是否相同，若不相同，則將該數據集合對應的最大公共子串存入最大公共子串表。

8.根據權利要求7所述的裝置，其特征在于，所述最長公共子串表構建模塊中，根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串，包括：

對獲取的目標數據進行兩兩比對，提取最長公共子串；

將具有相同最長公共子串的應用放入同一數據集合，所述相同最長公共子串為所述數據集合對應的最大公共子串。

9.根據權利要求6所述的裝置，其特征在于，所述去重判斷模塊中，提取兩個需要進行去重判斷的數據的最長公共子串，包括：逐個比較兩個需要進行去重判斷的數據中相同位置的字符，若比較的字符相同，則繼續比較下一個字符，直到比較的字符不同為止，提取出相同的字符為最長公共子串。

10.根據權利要求6至9中任一項所述的裝置，其特征在于，所述目標數據和所述數據均為應用的應用名稱。