[發明專利]新聞相似去重的方法及裝置

在審

• 申請號: 202110794186.2
• 申請日: 2021-07-14
• 公開（公告）號: CN113505835A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 韓文波
• 申請（專利權）人: 杭州隆埠科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/194
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 王思超

1.一種新聞相似去重的方法，其特征在于，包括：

獲取目標新聞信息與樣本新聞信息之間的第一距離信息，其中，所述第一距離信息包括：余弦距離和/或漢明距離；

根據所述目標新聞信息與所述樣本新聞信息之間的第一距離信息，確定所述目標新聞信息與所述樣本新聞信息為第一疑似相似新聞；

根據所述目標新聞信息與所述樣本新聞信息之間的第二距離信息，在確定所述目標新聞信息與所述樣本新聞信息為相關新聞信息的情況下，將目標新聞信息標記存入相似新聞集合，其中，所述第二距離信息為編輯距離。

2.根據權利要求1所述的方法，其特征在于，還包括：

在確定所述目標新聞信息與所述樣本新聞信息為無關新聞信息的情況下，確定所述目標新聞信息與所述樣本新聞信息為非相似新聞。

3.根據權利要求1所述的方法，其特征在于，獲取目標新聞信息與樣本新聞信息之間的第一距離信息，包括：

對所述樣本新聞信息進行分詞處理，對所述目標新聞信息進行分詞處理；

根據所述樣本新聞信息與所述目標新聞信息的分詞結果，獲取所述樣本新聞信息與所述目標新聞信息之間的余弦距離和/或漢明距離。

4.根據權利要求3所述的方法，其特征在于，在對所述樣本新聞信息進行分詞處理，對所述目標新聞信息進行分詞處理之后，還包括：

根據所述目標新聞信息的第一信息與所述樣本新聞信息的第一信息，確定所述目標新聞信息與所述樣本新聞信息為第二疑似相似新聞，其中，所述第一信息包括新聞關聯主體、新聞語言、新聞發布時間和新聞關鍵詞中的至少一個。

5.根據權利要求3所述的方法，其特征在于，在對所述樣本新聞信息進行分詞處理，對所述目標新聞信息進行分詞處理之前，還包括：

對所述目標新聞信息中的無關數據進行清除，其中，所述無關數據包括：所述目標新聞信息中的引用媒體、超文本標記語言字符、多余的空格、特殊字符、日期和模板類的描述詞。

6.一種新聞相似去重的裝置，其特征在于，包括：

獲取模塊，用于獲取目標新聞信息與樣本新聞信息之間的第一距離信息，其中，所述第一距離信息包括：余弦距離和/或漢明距離；

第一確定模塊，用于根據所述目標新聞信息與所述樣本新聞信息之間的第一距離信息，確定所述目標新聞信息與所述樣本新聞信息為第一疑似相似新聞；

第二確定模塊，用于根據所述目標新聞信息與所述樣本新聞信息之間的第二距離信息，在確定所述目標新聞信息與所述樣本新聞信息為相關新聞信息的情況下，將目標新聞信息標記存入相似新聞集合，其中，所述第二距離信息為編輯距離。

7.根據權利要求6所述的裝置，其特征在于，所述第二確定模塊，還用于：

在確定所述目標新聞信息與所述樣本新聞信息為無關新聞信息的情況下，確定所述目標新聞信息與所述樣本新聞信息為非相似新聞。

8.根據權利要求6所述的裝置，其特征在于，所述獲取模塊獲取目標新聞信息與樣本新聞信息之間的第一距離信息，包括：

對所述樣本新聞信息進行分詞處理，對所述目標新聞信息進行分詞處理；

根據所述樣本新聞信息與所述目標新聞信息的分詞結果，獲取所述樣本新聞信息與所述目標新聞信息之間的余弦距離和/或漢明距離。

9.根據權利要求8所述的裝置，其特征在于，所述獲取模塊在對所述樣本新聞信息進行分詞處理，對所述目標新聞信息進行分詞處理之后，還包括：

根據所述目標新聞信息的第一信息與所述樣本新聞信息的第一信息，確定所述目標新聞信息與所述樣本新聞信息為第二疑似相似新聞，其中，所述第一信息包括新聞關聯主體、新聞語言、新聞發布時間和新聞關鍵詞中的至少一個。

10.根據權利要求8所述的裝置，其特征在于，所述獲取模塊在對所述樣本新聞信息進行分詞處理，對所述目標新聞信息進行分詞處理之前，還包括：

對所述目標新聞信息中的無關數據進行清除，其中，所述無關數據包括：所述目標新聞信息中的引用媒體、超文本標記語言字符、多余的空格、特殊字符、日期和模板類的描述詞。