[發(fā)明專利]一種資訊去重的方法、系統(tǒng)、存儲介質及電子設備

有效

• 申請?zhí)枺?/td>: 202010202214.2
• 申請日: 2020-03-20
• 公開（公告）號: CN111552864B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設計）人: 陳揚;陸惠國;顧文斌;樊夢軍;徐東劍
• 申請（專利權）人: 上海恒生聚源數據服務有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9538
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 項軍

1.一種資訊去重的方法，其特征在于，包括：

對目標資訊的標題與去重庫中資訊的標題進行重復判斷；

若資訊的標題重復，則對標題重復的資訊進行去重處理；若資訊的標題不重復，則對目標資訊的內容與去重庫中資訊的內容進行重復判斷：

獲取目標資訊內容的simhash碼及去重庫中各資訊內容的simhash碼，并將各simhash碼分為N段M位長度的子碼，N、M為大于1的自然數；

基于各子碼建立去重庫中對應資訊的索引；

對目標資訊的內容與去重庫中相同子碼對應的資訊的內容進行重復判斷，若資訊的內容重復，則對內容重復的資訊進行去重處理；

對目標資訊的標題是否重復，采用兩層判斷中的至少一層，其中一層為最短編輯距離的判斷，另一層為向量相似度的判斷；

所述對目標資訊的內容與去重庫中相同子碼對應的資訊的內容進行重復判斷包括：

基于獲取的目標資訊內容的simhash碼及去重庫中各資訊內容的simhash碼，計算目標資訊內容的simhash碼與去重庫中相同子碼對應的資訊的內容的simhash碼的漢明距離，若漢明距離大于設定的漢明距離閾值，則判斷資訊內容不重復；

若漢明距離小于或等于設定的漢明距離閾值，則對目標資訊的內容與去重庫中相同子碼對應的資訊的內容進行余弦相似度檢測，若余弦相似度小于設定的余弦相似度閾值，則判斷資訊的內容不重復，若余弦相似度大于或等于設定的余弦相似度閾值，則判斷資訊的內容重復。

2.根據權利要求1所述的一種資訊去重的方法，其特征在于，所述對目標資訊的標題與去重庫中資訊的標題進行重復判斷包括：

對目標資訊的標題與去重庫中資訊的標題進行最短編輯距離計算：若最短編輯距離大于設定閾值，則判斷目標資訊的標題與去重庫中資訊的標題不重復；

若最短編輯距離小于等于設定閾值，則對目標資訊的標題與去重庫中符合最短編輯距離要求的資訊的標題進行向量相似度計算：若向量相似度小于設定閾值，則判斷目標資訊的標題與去重庫中資訊的標題不重復；若向量相似度大于等于設定閾值，則判斷目標資訊的標題與去重庫中資訊的標題重復。

3.根據權利要求1或2所述的一種資訊去重的方法，其特征在于，所述對標題重復的資訊進行去重處理之前還包括：

判斷標題重復的資訊主體是否相同：若資訊的主體相同，則對標題重復且主體相同的資訊進行去重處理。

4.根據權利要求3所述的一種資訊去重的方法，其特征在于，所述對內容重復的資訊進行去重處理之前還包括：

判斷內容重復的資訊主體是否相同：若資訊的主體相同，則對內容重復且主體相同的資訊進行去重處理。

5.根據權利要求4所述的一種資訊去重的方法，其特征在于，所述目標資訊的主體與去重庫中資訊的主體的提取包括：

對目標資訊或去重庫中資訊通過BERT算法處理得到若干詞向量；

對若干詞向量通過Bi-LSTM算法處理得到對應的預測分值；

對預測分值通過CRF算法處理得到資訊的主體。