[發(fā)明專利]一種實現(xiàn)多源相似新聞去重的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810092951.4
• 申請日: 2018-01-31
• 公開（公告）號: CN108595464A
• 公開（公告）日: 2018-09-28
• 發(fā)明（設(shè)計）人: 侯紅君;陳文濤
• 申請（專利權(quán)）人: 深圳市富途網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/22
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實現(xiàn)多源相似新聞去重的方法，其特征在于，包括：

檢測目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1；

檢測到目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1大于0.78時，則判斷所述目標(biāo)個股新聞與所述對比新聞為相似新聞；

對所述相似新聞進行去重處理。

2.如權(quán)利要求1所述的實現(xiàn)多源相似新聞去重的方法，其特征在于，所述實現(xiàn)多源相似新聞去重的方法，還包括：

檢測目標(biāo)個股新聞與對比新聞的內(nèi)容的相似度的最大值B1；

檢測到目標(biāo)個股新聞與對比新聞的內(nèi)容的相似度的最大值B1大于0.79時，則判斷所述目標(biāo)個股新聞與所述對比新聞為相似新聞；

對所述相似新聞進行去重處理。

3.如權(quán)利要求2所述的實現(xiàn)多源相似新聞去重的方法，其特征在于，所述實現(xiàn)多源相似新聞去重的方法，還包括：

檢測目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1，和檢測目標(biāo)個股新聞與對比新聞的內(nèi)容的相似度的最大值B1；

檢測到所述A1和所述B1相加的和值C1大于1.31時，則判斷所述目標(biāo)個股新聞與所述對比新聞為相似新聞；

對所述相似新聞進行去重處理。

4.如權(quán)利要求1所述的實現(xiàn)多源相似新聞去重的方法，其特征在于，所述在檢測目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1之前，還包括：

選取所有對比新聞。

5.如權(quán)利要求4所述的實現(xiàn)多源相似新聞去重的方法，其特征在于，所述在選取所有對比新聞之前，還包括：

選取目標(biāo)個股新聞。

6.一種實現(xiàn)多源相似新聞去重的系統(tǒng)，其特征在于，包括：

檢測模塊、判斷模塊、所述去重模塊；

所述檢測模塊，用于檢測目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1；

所述判斷模塊，用于根據(jù)所述檢測模塊檢測到目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1大于0.78時，判斷所述目標(biāo)個股新聞與所述對比新聞為相似新聞；

所述去重模塊，用于對所述判斷模塊所判斷的相似新聞進行去重處理。

7.如權(quán)利要求6所述的實現(xiàn)多源相似新聞去重的系統(tǒng)，其特征在于，所述實現(xiàn)多源相似新聞去重的系統(tǒng)，還包括：

所述檢測模塊，用于檢測目標(biāo)個股新聞與對比新聞的內(nèi)容的相似度的最大值B1；

所述判斷模塊，用于根據(jù)所述檢測模塊檢測到目標(biāo)個股新聞與對比新聞的內(nèi)容的相似度的最大值B1大于0.79時，判斷所述目標(biāo)個股新聞與所述對比新聞為相似新聞；

所述去重模塊，用于對所述判斷模塊所判斷的相似新聞進行去重處理。

8.如權(quán)利要求7所述的實現(xiàn)多源相似新聞去重的系統(tǒng)，其特征在于，所述實現(xiàn)多源相似新聞去重的系統(tǒng)，還包括：

所述檢測模塊，用于檢測目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1，和檢測目標(biāo)個股新聞與對比新聞的內(nèi)容的相似度的最大值B1；

所述判斷模塊，用于根據(jù)所述檢測模塊檢測到所述A1和所述B1相加的和值C1大于1.31時，判斷所述目標(biāo)個股新聞與所述對比新聞為相似新聞；

所述去重模塊，用于對所述判斷模塊所判斷的相似新聞進行去重處理。

9.如權(quán)利要求6所述的實現(xiàn)多源相似新聞去重的系統(tǒng)，其特征在于，所述實現(xiàn)多源相似新聞去重的系統(tǒng)，還包括選取模塊，用于在所述檢測模塊檢測目標(biāo)個股新聞與對比新聞的主題的相似度的最大值A(chǔ)1之前，選取所有對比新聞。

10.如權(quán)利要求9所述的實現(xiàn)多源相似新聞去重的系統(tǒng)，其特征在于，所述選取模塊，還用于在選取所有對比新聞之前，選取目標(biāo)個股新聞。