[發(fā)明專利]新聞相似去重的方法及裝置

在審

• 申請?zhí)枺?/td>: 202110794186.2
• 申請日: 2021-07-14
• 公開（公告）號(hào): CN113505835A
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計(jì)）人: 韓文波
• 申請（專利權(quán)）人: 杭州隆埠科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F40/194
• 代理公司: 北京國昊天誠知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 王思超

本申請公開了一種新聞相似去重的方法及裝置，所述方法包括：獲取目標(biāo)新聞信息與樣本新聞信息之間的第一距離信息，其中，所述第一距離信息包括：余弦距離和/或漢明距離；根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第一距離信息，確定所述目標(biāo)新聞信息與所述樣本新聞信息為第一疑似相似新聞；根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第二距離信息，在確定所述目標(biāo)新聞信息與所述樣本新聞信息為相關(guān)新聞信息的情況下，將目標(biāo)新聞信息標(biāo)記存入相似新聞集合，其中，所述第二距離信息為編輯距離。

技術(shù)領(lǐng)域

本申請涉及新聞相似去重領(lǐng)域，尤其涉及一種新聞相似去重的方法及裝置。

背景技術(shù)

在當(dāng)今的互聯(lián)網(wǎng)時(shí)代，信息呈現(xiàn)爆炸式增長，同一條新聞往往可能會(huì)被各大新聞媒體、公眾號(hào)、自媒體等媒體分別進(jìn)行轉(zhuǎn)載和修改，因此，用戶會(huì)因?yàn)殚喿x到相似內(nèi)容的新聞而花費(fèi)大量時(shí)間。

在相關(guān)技術(shù)中，新聞相似去重方案大概包括基于分詞結(jié)果的指紋數(shù)據(jù)實(shí)現(xiàn)距離度量和基于文本特征向量的相似度比對(duì)兩種，但是這兩種方案均可能會(huì)出現(xiàn)兩篇完全沒有關(guān)聯(lián)的新聞被判斷為相似的情況。

發(fā)明內(nèi)容

本申請公開一種新聞相似去重的方法及裝置，解決了兩篇完全沒有關(guān)聯(lián)的新聞可能會(huì)被判斷為相似的問題。

為了解決上述問題，本申請采用下述技術(shù)方案：

第一方面，本申請實(shí)施例公開一種新聞相似去重的方法，包括：獲取目標(biāo)新聞信息與樣本新聞信息之間的第一距離信息，其中，所述第一距離信息包括：余弦距離和/或漢明距離；根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第一距離信息，確定所述目標(biāo)新聞信息與所述樣本新聞信息為第一疑似相似新聞；根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第二距離信息，在確定所述目標(biāo)新聞信息與所述樣本新聞信息為相關(guān)新聞信息的情況下，將目標(biāo)新聞信息標(biāo)記存入相似新聞集合，其中，所述第二距離信息為編輯距離。

第二方面，本申請實(shí)施例公開一種新聞相似去重的裝置，包括：獲取模塊，用于獲取目標(biāo)新聞信息與樣本新聞信息之間的第一距離信息，其中，所述第一距離信息包括：余弦距離和/或漢明距離；第一確定模塊，用于根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第一距離信息，確定所述目標(biāo)新聞信息與所述樣本新聞信息為第一疑似相似新聞；第二確定模塊，用于根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第二距離信息，在確定所述目標(biāo)新聞信息與所述樣本新聞信息為相關(guān)新聞信息的情況下，將目標(biāo)新聞信息標(biāo)記存入相似新聞集合，其中，所述第二距離信息為編輯距離。

第三方面，本申請實(shí)施例公開一種電子設(shè)備，包括處理器，存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序或指令，所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的新聞相似去重的方法的步驟。

第四方面，本申請實(shí)施例公開一種可讀存儲(chǔ)介質(zhì)，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的新聞相似去重的方法的步驟。

第五方面，本申請實(shí)施例公開一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運(yùn)行終端程序或指令，實(shí)現(xiàn)如上述第一方面所述的新聞相似去重的方法。

本申請采用的技術(shù)方案能夠達(dá)到以下有益效果：

本申請實(shí)施例提供一種新聞相似去重的方法，包括：獲取目標(biāo)新聞信息與樣本新聞信息之間的第一距離信息，其中，所述第一距離信息包括：余弦距離和/或漢明距離；根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第一距離信息，確定所述目標(biāo)新聞信息與所述樣本新聞信息為第一疑似相似新聞；根據(jù)所述目標(biāo)新聞信息與所述樣本新聞信息之間的第二距離信息，在確定所述目標(biāo)新聞信息與所述樣本新聞信息為相關(guān)新聞信息的情況下，將目標(biāo)新聞信息標(biāo)記存入相似新聞集合，其中，所述第二距離信息為編輯距離。本申請通過引入編輯距離，進(jìn)一步對(duì)目標(biāo)新聞信息與樣本新聞信息進(jìn)行判斷，進(jìn)而解決了兩篇完全沒有關(guān)聯(lián)的新聞可能會(huì)被判斷為相似的問題。

附圖說明