[發明專利]一種多源數據文檔實時快速去重方法及系統

有效

• 申請號: 201811456999.5
• 申請日: 2018-11-30
• 公開（公告）號: CN109635084B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 柴志偉;丑曉慧;許冠宇;宋樂安;許涵洋
• 申請（專利權）人: 寧波深擎信息科技有限公司;上海深擎信息科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/284
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 鄒成嬌

1.一種多源數據文檔實時快速去重方法，其特征在于，包括以下步驟：

接收當前文檔并對當前文檔進行過濾，得到過濾后的文檔數據；

通過局部敏感性hash算法，計算出文檔數據的特征字；

根據特征字和文檔數據，判斷當前文檔與數據庫存儲的之前文檔是否相似；

如果不相似，則將當前文檔的特征字和文檔數據存儲到數據庫，否則不存儲；

所述根據特征字和文檔數據，判斷當前文檔與數據庫存儲的之前文檔是否相似，具體步驟為：

計算當前文檔的特征字與之前文檔的特征字的海明距離，如果海明距離大于等于N，則當前文檔與之前文檔不相似，否則相似，并得到初步相似文檔；

計算當前文檔的正文內容與初步相似文檔的正文內容的字數差，如果字數差大于M，則當前文檔與初步相似文檔不相似，否則相似，并得到二度相似文檔；

所述根據特征字和文檔數據，判斷當前文檔與數據庫存儲的之前文檔是否相似，還包括：

提取當前文檔的關鍵詞和二度相似文檔的關鍵詞；

當前文檔的關鍵詞個數或二度相似文檔的關鍵詞個數小于等于3時，如果相同關鍵詞個數小于2，則當前文檔與二度相似文檔不相似，否則相似，并得到三度相似文檔；

當前文檔的關鍵詞個數和二度相似文檔的關鍵詞個數均是大于3時，如果相同關鍵詞個數小于3，則當前文檔與二度相似文檔不相似，否則相似，并得到三度相似文檔；

所述根據特征字和文檔數據，判斷當前文檔與數據庫存儲的之前文檔是否相似，還包括：

計算當前文檔的數據值占位量和三度相似文檔的數據值占位量，如果兩文檔的數據值占位量相同且數據不同，則當前文檔和三度相似文檔不相似，否則相似。

2.根據權利要求1所述的一種多源數據文檔實時快速去重方法，其特征在于，所述通過局部敏感性hash算法，計算出文檔數據的特征字，具體步驟為：

將文檔數據中的正文內容進行分詞，并得到如果干個詞；

通過詞頻統計方法統計出每個詞的權重；

將每個詞用Hash算法映射出一個hash值；

根據權重對每個詞的hash值進行加權計算，得到加權后的數字串；

將所有詞的數字串進行按位求和，得到最終的數字串；

將最終的數字串轉換為01形式的64位字節的特征字。

3.根據權利要求1所述的一種多源數據文檔實時快速去重方法，其特征在于，所述文檔數據包括文章標題、ID編號、正文內容和數據來源標識，所述將當前文檔的特征字和文檔數據存儲到數據庫，具體步驟為：

將當前文檔的特征字和編號ID組合成當前文檔的key值；

將當前文檔的文章標題、ID編號、正文內容、數據來源標識和key值存儲到redis數據庫。

4.根據權利要求3所述的一種多源數據文檔實時快速去重方法，其特征在于，在當前文檔與之前文檔進行相似比較前，從數據庫中提取出之前文檔的key值，根據key值得到之前文檔的特征字。