[發(fā)明專(zhuān)利]異常用戶(hù)檢測(cè)模型訓(xùn)練方法、異常用戶(hù)審核方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011062609.3
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN112395556B
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 李益永;井雪;孫準(zhǔn);黃秋實(shí);項(xiàng)偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣州市百果園網(wǎng)絡(luò)科技有限公司
• 主分類(lèi)號(hào): G06F17/18
• 分類(lèi)號(hào): G06F17/18;G06F16/35;G06F16/335
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開(kāi)了一種異常用戶(hù)檢測(cè)模型訓(xùn)練方法、異常用戶(hù)審核方法及裝置，包括：獲取樣本用戶(hù)的評(píng)論數(shù)據(jù)，評(píng)論數(shù)據(jù)包括樣本用戶(hù)評(píng)論的視頻和評(píng)論內(nèi)容，從樣本用戶(hù)的所有評(píng)論內(nèi)容中確定出目標(biāo)評(píng)論內(nèi)容，以通過(guò)目標(biāo)評(píng)論內(nèi)容獲取樣本用戶(hù)為異常用戶(hù)的概率；對(duì)評(píng)論內(nèi)容進(jìn)行統(tǒng)計(jì)以獲得樣本用戶(hù)的評(píng)論內(nèi)容的統(tǒng)計(jì)特征；確定樣本用戶(hù)評(píng)論的視頻為違規(guī)視頻的違規(guī)分?jǐn)?shù)；將樣本用戶(hù)為異常用戶(hù)的概率、統(tǒng)計(jì)特征以及違規(guī)分?jǐn)?shù)作為訓(xùn)練樣本，樣本用戶(hù)的標(biāo)簽作為樣本標(biāo)簽來(lái)訓(xùn)練異常用戶(hù)檢測(cè)模型。實(shí)現(xiàn)了從評(píng)論數(shù)據(jù)中提取與異常行為具有強(qiáng)關(guān)聯(lián)關(guān)系的高層次特征來(lái)訓(xùn)練異常用戶(hù)檢測(cè)模型，提高了異常用戶(hù)檢測(cè)模型預(yù)測(cè)用戶(hù)為異常用戶(hù)的概率的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及內(nèi)容審核技術(shù)領(lǐng)域，尤其涉及一種異常用戶(hù)檢測(cè)模型訓(xùn)練方法、異常用戶(hù)審核方法、異常用戶(hù)檢測(cè)模型訓(xùn)練裝置、異常用戶(hù)審核裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)發(fā)展，各種視頻平臺(tái)進(jìn)入人們的日常生活中，人們可以通過(guò)短視頻、直播等視頻平臺(tái)觀看視頻或者上傳視頻，然而，由于用戶(hù)的多樣性以及為了維護(hù)健康的網(wǎng)絡(luò)環(huán)境需求，需要對(duì)用戶(hù)進(jìn)行審核以確定用戶(hù)是否為異常用戶(hù)。

在對(duì)用戶(hù)進(jìn)行審核中，異常用戶(hù)可以是具有異常行為的違規(guī)用戶(hù)，為了保護(hù)未成年人，異常用戶(hù)是審核重點(diǎn)。目前主要是根據(jù)用戶(hù)對(duì)視頻的評(píng)論內(nèi)容來(lái)檢測(cè)出異常用戶(hù)進(jìn)行懲罰，然而，視頻存在信號(hào)不準(zhǔn)確的問(wèn)題，如無(wú)法準(zhǔn)確確定用戶(hù)評(píng)論的視頻是否為禁止未成年觀看的視頻，是否是色情視頻；另外，用戶(hù)對(duì)視頻的評(píng)論內(nèi)容中與異常行為強(qiáng)關(guān)聯(lián)的詞匯非常少，異常用戶(hù)的評(píng)論內(nèi)容也并非全部是與異常行為相關(guān)的內(nèi)容；再者，異常用戶(hù)具有對(duì)抗行為，如異常用戶(hù)在評(píng)論中使用異常用戶(hù)之間才可以理解的色情文字的變形詞、甚至創(chuàng)造異常用戶(hù)之間專(zhuān)用的詞匯來(lái)避免被檢測(cè)，造成無(wú)法從評(píng)論中提取與異常行為相關(guān)的特征來(lái)檢測(cè)異常用戶(hù)。

綜上所述，在用戶(hù)評(píng)論的視頻信號(hào)不準(zhǔn)確、評(píng)論內(nèi)容中與異常行為強(qiáng)關(guān)聯(lián)詞匯少以及異常用戶(hù)具有對(duì)抗行為的情況下，難以從用戶(hù)的評(píng)論數(shù)據(jù)中提取出與異常行為具有強(qiáng)邏輯關(guān)系的特征來(lái)檢測(cè)用戶(hù)是否是異常用戶(hù)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種異常用戶(hù)檢測(cè)模型訓(xùn)練方法、異常用戶(hù)審核方法及裝置，以解決現(xiàn)有技術(shù)中難以從用戶(hù)的評(píng)論數(shù)據(jù)中提取出與異常行為具有強(qiáng)邏輯關(guān)系的特征來(lái)檢測(cè)用戶(hù)是否是異常用戶(hù)的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種異常用戶(hù)檢測(cè)模型訓(xùn)練方法，包括：

獲取樣本用戶(hù)的評(píng)論數(shù)據(jù)，所述評(píng)論數(shù)據(jù)包括所述樣本用戶(hù)評(píng)論的視頻和評(píng)論內(nèi)容，所述樣本用戶(hù)為標(biāo)注了異常用戶(hù)標(biāo)簽和正常用戶(hù)標(biāo)簽的用戶(hù)；

從所述樣本用戶(hù)的所有評(píng)論內(nèi)容中確定出目標(biāo)評(píng)論內(nèi)容，以通過(guò)所述目標(biāo)評(píng)論內(nèi)容獲取所述樣本用戶(hù)為異常用戶(hù)的概率；

對(duì)所述評(píng)論內(nèi)容進(jìn)行統(tǒng)計(jì)以獲得所述樣本用戶(hù)的評(píng)論內(nèi)容的統(tǒng)計(jì)特征；

確定所述樣本用戶(hù)評(píng)論的視頻為違規(guī)視頻的違規(guī)分?jǐn)?shù)；

將所述樣本用戶(hù)為異常用戶(hù)的概率、所述統(tǒng)計(jì)特征以及所述違規(guī)分?jǐn)?shù)作為訓(xùn)練樣本，所述樣本用戶(hù)的標(biāo)簽作為樣本標(biāo)簽來(lái)訓(xùn)練異常用戶(hù)檢測(cè)模型。

第二方面，本發(fā)明實(shí)施例提供了一種異常用戶(hù)審核方法，包括：

獲取待審核用戶(hù)的評(píng)論數(shù)據(jù)，所述評(píng)論數(shù)據(jù)包括所述待審核用戶(hù)評(píng)論的視頻以及評(píng)論內(nèi)容；

從所述待審核用戶(hù)的所有評(píng)論內(nèi)容中確定出目標(biāo)評(píng)論內(nèi)容，以通過(guò)所述目標(biāo)評(píng)論內(nèi)容獲取所述樣本用戶(hù)為異常用戶(hù)的概率；

對(duì)所述評(píng)論內(nèi)容進(jìn)行統(tǒng)計(jì)以獲得所述待審核用戶(hù)的評(píng)論內(nèi)容的統(tǒng)計(jì)特征；

確定所述待審核用戶(hù)評(píng)論的視頻為違規(guī)視頻的違規(guī)分?jǐn)?shù)；

將所述待審核用戶(hù)為異常用戶(hù)的第一概率、所述統(tǒng)計(jì)特征以及所述違規(guī)分?jǐn)?shù)輸入預(yù)先訓(xùn)練好的異常用戶(hù)檢測(cè)模型中得到所述待審核用戶(hù)為異常用戶(hù)的第二概率；