[發(fā)明專利]一種評論內(nèi)容過濾方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711373559.9
• 申請日: 2017-12-19
• 公開（公告）號: CN110019681B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計）人: 楊華濤
• 申請（專利權(quán)）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/284
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 賈磊

本申請實施方式公開了一種評論內(nèi)容過濾方法及系統(tǒng)，包括：對評論主體的所有評論進(jìn)行分詞處理，獲得所述評論的詞語序列；根據(jù)所述評論中每個詞語對應(yīng)的詞向量確定所述評論中任意兩個詞語之間的相關(guān)度，利用所述評論中所有詞語之間的相關(guān)度確定所述評論內(nèi)容有意義的概率，將所述概率小于等于閾值所對應(yīng)的評論過濾掉。本申請?zhí)峁┑募夹g(shù)方案將文本內(nèi)容中無實際意義且胡亂輸入的內(nèi)容過濾掉，對文本內(nèi)容起到提精降噪的目的，最終獲得有價值的評論內(nèi)容的效率得到大幅度提高。

技術(shù)領(lǐng)域

本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種評論內(nèi)容過濾方法及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，用戶通過互聯(lián)網(wǎng)進(jìn)行各種各樣的互動。比如：用戶可以在被評論主體下方的評論欄發(fā)表評論，其他用戶可以對評論區(qū)的評論進(jìn)行互動。評論是表達(dá)評論主體某些特征方面狀況和用戶個體對評論主體情感的信息。用戶可以根據(jù)評論內(nèi)容對評論主體進(jìn)行了解，也可以同其他用戶針對同一評論主體進(jìn)行信息交流。

目前，在對評論進(jìn)行分析時，由于針對同一評論主體會有大量的評論內(nèi)容，在這些評論中混有高重復(fù)率且無實際意義的內(nèi)容，比如：“沙發(fā)”。甚至有些評論區(qū)域出現(xiàn)很多胡亂輸入的無意義語句，比如：“和地產(chǎn)似乎是四個小孩子的呼吸也許是覺得你們的滿腹牢騷看著你西安耐曬傷”。由于高重復(fù)率且無實際意義的評論內(nèi)容的存在，使得評論區(qū)域內(nèi)的有價值的文本內(nèi)容被淹沒，導(dǎo)致評論區(qū)域內(nèi)獲得有效的評論內(nèi)容的效率很低。

發(fā)明內(nèi)容

本申請實施方式的目的是提供一種評論內(nèi)容過濾方法及系統(tǒng)，適用于評論、彈幕、帖子等評論內(nèi)容過濾處理，解決胡亂輸入的無意義的評論內(nèi)容導(dǎo)致獲得有價值的評論內(nèi)容的效率降低的技術(shù)問題。

為實現(xiàn)上述目的，本申請實施方式提供一種評論內(nèi)容過濾方法，包括：

對評論主體的所有評論進(jìn)行分詞處理，獲得所述評論的詞語序列；

根據(jù)所述評論中每個詞語對應(yīng)的詞向量確定所述評論中任意兩個詞語之間的相關(guān)度，利用所述評論中所有詞語之間的相關(guān)度確定所述評論內(nèi)容有意義的概率，將所述概率小于等于閾值所對應(yīng)的評論過濾掉。

為實現(xiàn)上述目的，本申請實施方式還提供一種評論內(nèi)容過濾系統(tǒng)，所述系統(tǒng)包括：存儲器和處理器，所述存儲器中存儲計算機(jī)程序，所述計算機(jī)程序被所述處理器執(zhí)行時，實現(xiàn)以下功能：

對評論主體的所有評論進(jìn)行分詞處理，獲得所述評論的詞語序列；

根據(jù)所述評論中每個詞語對應(yīng)的詞向量確定所述評論中任意兩個詞語之間的相關(guān)度，利用所述評論中所有詞語之間的相關(guān)度確定所述評論內(nèi)容有意義的概率，將所述概率小于等于閾值所對應(yīng)的評論過濾掉。

由上可見，與現(xiàn)有技術(shù)相比較，本申請?zhí)峁┑募夹g(shù)方案將文本內(nèi)容中無實際意義且胡亂輸入的內(nèi)容過濾掉，對文本內(nèi)容起到提精降噪的目的，最終獲得有價值的評論內(nèi)容的效率得到大幅度提高。

附圖說明

為了更清楚地說明本申請實施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請實施例提出的一種評論內(nèi)容過濾方法的流程圖之一；

圖2為本申請實施例提出的一種評論內(nèi)容過濾方法的流程圖之二；

圖3為本申請實施例提出的一種評論內(nèi)容過濾方法的流程圖之三；

圖4為本申請實施例提出的一種評論內(nèi)容過濾系統(tǒng)的示意圖。

具體實施方式