[發明專利]冗余數據的處理方法、裝置、服務器及存儲介質

在審

• 申請號: 202010554791.8
• 申請日: 2020-06-17
• 公開（公告）號: CN111736774A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 陳焜;黃劍飛;曲暢;李東陽
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 唐述燦

1.一種冗余數據的處理方法，其特征在于，所述方法包括：

獲取多條待處理數據，每條待處理數據的數據量大于預設閾值；

對所述多條待處理數據進行解析，得到多個字段名稱，每個字段名稱對應一個字段值和至少一個索引值，所述索引值用于指示字段名稱對應的字段在待處理數據中的位置；

根據多個字段名稱對應的字段值和索引值，刪除所述多條待處理數據中的冗余字段，得到多條處理后的數據。

2.根據權利要求1所述的方法，其特征在于，所述根據多個字段名稱對應的字段值和索引值，刪除所述多條待處理數據中的冗余字段，得到多條處理后的數據，包括：

根據多個字段名稱對應的字段值和索引值，刪除多條待處理數據中字段名稱相同的冗余字段，得到多條第一數據；

從所述多條第一數據中，獲取數據量大于所述預設閾值的多條第二數據；

根據所述多條第二數據中字段名稱對應的字段值和索引值，刪除多條第二數據中字段名稱相似的冗余數據，得到多條處理后的數據。

3.根據權利要求2所述的方法，其特征在于，所述根據多個字段名稱對應的字段值和索引值，刪除多條待處理數據中字段名稱相同的冗余字段，得到多條第一數據，包括：

將每個字段名稱及其對應的字段值拼接成第一字符串，得到多個第一字符串；

采用指定算法對所述多個第一字符串進行加密計算，得到多個第一指紋；

根據所述多個字段名稱對應的索引值和所述多個第一指紋，確定所述多條待處理數據中字段名稱相同的冗余字段；

刪除所述多條待處理數據中字段名稱相同的冗余字段，得到所述多條第一數據。

4.根據權利要求3所述的方法，其特征在于，所述根據所述多個字段名稱對應的索引值和所述多個第一指紋，確定所述多條待處理數據中字段名稱相同的冗余字段，包括：

從每個字段名稱對應的索引值中，獲取一個目標索引值；

將每個目標索引值對應的目標指紋與同字段名稱的其余索引值對應的第一指紋進行比較；

獲取指紋與每個目標指紋相同的指定索引值；

將所述指定索引值指示的字段，確定為字段名稱相同的冗余字段。

5.根據權利要求4所述的方法，其特征在于，所述將所述指定索引值指示的字段，確定為字段名稱相同的冗余字段之后，還包括：

將所述指定索引值對應的標記更改為刪除標記；

所述刪除所述多條待處理數據中字段名稱相同的冗余字段，得到所述多條第一數據，包括：

刪除所述刪除標記對應的索引值指示的字段，得到所述多條第一數據。

6.根據權利要求2至5中任一項所述的方法，其特征在于，所述根據所述多條第二數據中字段名稱對應的字段值和索引值，刪除多條第二數據中字段名稱相似的冗余數據，得到多條處理后的數據，包括：

將所述多條第二數據中每個字段名稱及其對應的索引值拼接成第二字符串，得到多個第二字符串；

采用指定算法對所述多個第二字符串進行加密計算，得到多個第二指紋；

計算任意兩個第二指紋之間的海明距離；

根據海明距離小于距離閾值的第二指紋，生成無向關聯子圖，所述無向關聯子圖包括多對節點和鄰接矩陣，每對節點表示海明距離小于距離閾值的兩個第二指紋對應的索引值；

根據所述多對節點和所述鄰接矩陣，確定所述多條第二數據中字段名稱相似的冗余字段；

刪除所述多條第二數據中字段名稱相似的冗余字段，得到所述多條處理后的數據。

7.根據權利要求6所述的方法，其特征在于，所述根據所述多對節點和所述鄰接矩陣，確定所述多條第二數據中字段名稱相似的冗余字段，包括：

對于任一對節點，獲取包括的兩個節點之間的一階相似度；

當所述一階相似度小于一階相似度閾值，根據所述鄰接矩陣，獲取所述兩個節點之間的二階相似度；

當所述二階相似度小于二階相似度閾值，將所述兩個節點中任一節點對應的索引值指示的字段，確定為字段名稱相似的冗余字段。