[發(fā)明專利]一種評(píng)論內(nèi)容過濾方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711373559.9
• 申請(qǐng)日: 2017-12-19
• 公開（公告）號(hào): CN110019681B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 楊華濤
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴（中國）有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/284
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 賈磊

1.一種評(píng)論內(nèi)容過濾方法，其特征在于，包括：

對(duì)評(píng)論主體的所有評(píng)論進(jìn)行分詞處理，獲得所述評(píng)論的詞語序列；

根據(jù)所述評(píng)論中每個(gè)詞語對(duì)應(yīng)的詞向量確定所述評(píng)論中任意兩個(gè)詞語之間的相關(guān)度，利用所述評(píng)論中所有詞語之間的相關(guān)度確定所述評(píng)論內(nèi)容有意義的概率，將所述概率小于等于閾值所對(duì)應(yīng)的評(píng)論過濾掉，其中，所述相關(guān)度用于表示兩個(gè)詞語出現(xiàn)在同一語境下的概率，詞語之間的語境越不同，詞語的相關(guān)度越小；

根據(jù)高頻詞庫對(duì)過濾處理后剩余評(píng)論的詞語序列再次進(jìn)行過濾處理，所述高頻詞庫中的高頻詞是針對(duì)所述評(píng)論主體的樣本評(píng)論內(nèi)容的詞語作詞頻統(tǒng)計(jì)時(shí)將大于詞頻閾值且與所述評(píng)論主體無實(shí)際意義的詞語構(gòu)成的。

2.如權(quán)利要求1所述的方法，其特征在于，還包括：

將經(jīng)過所述高頻詞庫過濾之后所述詞語序列中剩余的詞語進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果更新所述高頻詞庫。

3.如權(quán)利要求1所述的方法，其特征在于，還包括：

經(jīng)過高頻詞庫過濾處理之后所述詞語序列中剩余的詞語與停用詞庫進(jìn)行匹配，根據(jù)匹配結(jié)果將停用詞從所述評(píng)論的詞語序列中過濾掉；其中，所述停用詞庫通過開源詞庫獲取或自行定義獲取。

4.如權(quán)利要求1所述的方法，其特征在于，根據(jù)高頻詞庫對(duì)過濾處理后剩余評(píng)論的詞語序列再次進(jìn)行過濾處理的方法為：

對(duì)過濾處理后剩余評(píng)論的詞語序列與所述高頻詞庫進(jìn)行匹配，根據(jù)匹配結(jié)果將高頻詞從所述詞語序列中過濾掉。

5.如權(quán)利要求3所述的方法，其特征在于，所述停用詞包括數(shù)字、字母、標(biāo)點(diǎn)符號(hào)、emoji、虛詞。

6.一種評(píng)論內(nèi)容過濾系統(tǒng)，其特征在于，所述系統(tǒng)包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下功能：

對(duì)評(píng)論主體的所有評(píng)論進(jìn)行分詞處理，獲得所述評(píng)論的詞語序列；

根據(jù)所述評(píng)論中每個(gè)詞語對(duì)應(yīng)的詞向量確定所述評(píng)論中任意兩個(gè)詞語之間的相關(guān)度，利用所述評(píng)論中所有詞語之間的相關(guān)度確定所述評(píng)論內(nèi)容有意義的概率，將所述概率小于等于閾值所對(duì)應(yīng)的評(píng)論過濾掉，其中，所述相關(guān)度用于表示兩個(gè)詞語出現(xiàn)在同一語境下的概率，詞語之間的語境越不同，詞語的相關(guān)度越小；

根據(jù)高頻詞庫對(duì)過濾處理后剩余評(píng)論的詞語序列再次進(jìn)行過濾處理；

獲得高頻詞庫，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下功能：針對(duì)所述評(píng)論主體的樣本評(píng)論內(nèi)容的詞語作詞頻統(tǒng)計(jì)時(shí)將大于詞頻閾值且與所述評(píng)論主體無實(shí)際意義的詞語構(gòu)成高頻詞庫。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，還實(shí)現(xiàn)以下功能：

將經(jīng)過所述高頻詞庫過濾之后所述詞語序列中剩余的詞語進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果更新所述高頻詞庫。

8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，還實(shí)現(xiàn)以下功能：

經(jīng)過高頻詞庫過濾處理之后所述詞語序列中剩余的詞語與停用詞庫進(jìn)行匹配，根據(jù)匹配結(jié)果將停用詞從所述評(píng)論的詞語序列中過濾掉；其中，所述停用詞庫通過開源詞庫獲取或自行定義獲取。

9.如權(quán)利要求6所述的系統(tǒng)，其特征在于，根據(jù)高頻詞庫對(duì)過濾處理后剩余評(píng)論的詞語序列再次進(jìn)行過濾處理，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下功能：

對(duì)過濾處理后剩余評(píng)論的詞語序列與所述高頻詞庫進(jìn)行匹配，根據(jù)匹配結(jié)果將高頻詞從所述詞語序列中過濾掉。