[發(fā)明專利]一種實(shí)現(xiàn)多源相似新聞去重的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810092951.4
• 申請(qǐng)日: 2018-01-31
• 公開（公告）號(hào): CN108595464A
• 公開（公告）日: 2018-09-28
• 發(fā)明（設(shè)計(jì)）人: 侯紅君;陳文濤
• 申請(qǐng)（專利權(quán)）人: 深圳市富途網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/22
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開一種實(shí)現(xiàn)多源相似新聞去重的方法及系統(tǒng)，其方法包括：根據(jù)目標(biāo)個(gè)股新聞與對(duì)比參照新聞在時(shí)間，標(biāo)題以及內(nèi)容維度上的相似度最大值，根據(jù)經(jīng)驗(yàn)值使用不同權(quán)重疊加，得到目標(biāo)新聞的相似度參數(shù)，將相似度參數(shù)與相似度閾值進(jìn)行對(duì)比，對(duì)該相似新聞進(jìn)行去重判斷與處理，從而達(dá)到實(shí)現(xiàn)可以在不需要人工參與的情況下，基于新聞的標(biāo)題、內(nèi)容的整體相似度識(shí)別不同數(shù)據(jù)源中的重復(fù)新聞，并達(dá)到去除重復(fù)新聞和新聞資訊運(yùn)營自動(dòng)化的目的，可以大大減小新聞資訊運(yùn)營的人工強(qiáng)度。

技術(shù)領(lǐng)域

本發(fā)明涉及多源相似新聞去重的技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)多源相似新聞去重的方法及系統(tǒng)。

背景技術(shù)

現(xiàn)有的相似新聞去重的技術(shù)方案主要是基于分詞得到一篇文章的所有分詞列表以及分詞權(quán)重，將一篇新的資訊計(jì)算得出的分詞列表與已有資訊的分詞表進(jìn)行對(duì)比，分詞表及分詞的權(quán)重一致性超過一定閾值則認(rèn)為是重復(fù)新聞。

目前，在相似新聞去重方面，有人工運(yùn)營相似新聞去重技術(shù)方案，有使用基于中文分詞識(shí)別一篇新聞并達(dá)到相似新聞去重的目的，前者運(yùn)營成本高昂，并且有遺漏風(fēng)險(xiǎn)，后者使用分詞的方案，對(duì)于使用關(guān)鍵字查找新聞效果佳，用于相似新聞去重方案則可能誤傷相同主題的新聞。

發(fā)明內(nèi)容

本發(fā)明提供一種實(shí)現(xiàn)多源相似新聞去重的方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中存在的運(yùn)營成本高昂，有遺漏風(fēng)險(xiǎn)，相似新聞去重可能誤傷相同主題的新聞的技術(shù)問題。

為解決上述技術(shù)問題，本發(fā)明提供一種實(shí)現(xiàn)多源相似新聞去重的方法，包括：

檢測目標(biāo)個(gè)股新聞與對(duì)比新聞的主題的相似度的最大值A(chǔ)1；

檢測到目標(biāo)個(gè)股新聞與對(duì)比新聞的主題的相似度的最大值A(chǔ)1大于0.78時(shí)，則判斷所述目標(biāo)個(gè)股新聞與所述對(duì)比新聞為相似新聞；

對(duì)所述相似新聞進(jìn)行去重處理。

其中，所述實(shí)現(xiàn)多源相似新聞去重的方法，還包括：

檢測目標(biāo)個(gè)股新聞與對(duì)比新聞的內(nèi)容的相似度的最大值B1；

檢測到目標(biāo)個(gè)股新聞與對(duì)比新聞的內(nèi)容的相似度的最大值B1大于0.79時(shí)，則判斷所述目標(biāo)個(gè)股新聞與所述對(duì)比新聞為相似新聞；

對(duì)所述相似新聞進(jìn)行去重處理。

其中，所述實(shí)現(xiàn)多源相似新聞去重的方法，還包括：

檢測目標(biāo)個(gè)股新聞與對(duì)比新聞的主題的相似度的最大值A(chǔ)1，和檢測目標(biāo)個(gè)股新聞與對(duì)比新聞的內(nèi)容的相似度的最大值B1；

檢測到所述A1和所述B1相加的和值C1大于1.31時(shí)，則判斷所述目標(biāo)個(gè)股新聞與所述對(duì)比新聞為相似新聞；

對(duì)所述相似新聞進(jìn)行去重處理。

其中，所述在檢測目標(biāo)個(gè)股新聞與對(duì)比新聞的主題的相似度的最大值A(chǔ)1之前，還包括：

選取所有對(duì)比新聞。

其中，所述在選取所有對(duì)比新聞之前，還包括：

選取目標(biāo)個(gè)股新聞。

為解決上述技術(shù)問題，本發(fā)明還提供一種實(shí)現(xiàn)多源相似新聞去重的系統(tǒng)，包括：

檢測模塊、判斷模塊、所述去重模塊；

所述檢測模塊，用于檢測目標(biāo)個(gè)股新聞與對(duì)比新聞的主題的相似度的最大值A(chǔ)1；

所述判斷模塊，用于根據(jù)所述檢測模塊檢測到目標(biāo)個(gè)股新聞與對(duì)比新聞的主題的相似度的最大值A(chǔ)1大于0.78時(shí)，判斷所述目標(biāo)個(gè)股新聞與所述對(duì)比新聞為相似新聞；

所述去重模塊，用于對(duì)所述判斷模塊所判斷的相似新聞進(jìn)行去重處理。

其中，所述實(shí)現(xiàn)多源相似新聞去重的系統(tǒng)，還包括：