[發(fā)明專利]線上評論的違規(guī)片段提取方法和裝置

在審

• 申請?zhí)枺?/td>: 202210751908.0
• 申請日: 2022-06-29
• 公開（公告）號: CN114996556A
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計）人: 劉堡萱;文成明
• 申請（專利權(quán)）人: 北京小川科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/35;G06F16/9038;G06F16/904
• 代理公司: 北京中和立達(dá)知識產(chǎn)權(quán)代理有限公司 11756
• 代理人: 楊磊

本發(fā)明是關(guān)于一種線上評論的違規(guī)片段提取方法和裝置，方法包括：通過文本分類模型對互聯(lián)網(wǎng)社區(qū)的每個線上評論進行分類，以得到文本分類結(jié)果，其中，文本分類結(jié)果包括評論通過審核和評論疑似違規(guī)；對文本分類結(jié)果為評論疑似違規(guī)的所有第一目標(biāo)線上評論進行人工審核和違規(guī)片段標(biāo)注，以得到第一訓(xùn)練集；從文本分類結(jié)果為評論通過審核的所有第二目標(biāo)線上評論中抽取第三目標(biāo)線上評論，以得到第二訓(xùn)練集；使用第一訓(xùn)練集和第二訓(xùn)練集進行模型訓(xùn)練，以得到違規(guī)片段提取模型；使用違規(guī)片段提取模型對多個線上評論進行違規(guī)片段提取，以得到違規(guī)片段提取結(jié)果；根據(jù)每個線上評論對應(yīng)的文本分類結(jié)果和違規(guī)片段提取結(jié)果確定其是否通過違規(guī)審核。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種線上評論的違規(guī)片段提取方法和裝置。

背景技術(shù)

由于互聯(lián)網(wǎng)社區(qū)產(chǎn)品表達(dá)方式的多樣性，即同樣的意思可能有多種表達(dá)方式，這非常不利于社區(qū)產(chǎn)品的內(nèi)容安全，因此，如何提高互聯(lián)網(wǎng)社區(qū)產(chǎn)品的風(fēng)控能力，對維護互聯(lián)網(wǎng)社區(qū)產(chǎn)品的健康氛圍和內(nèi)容安全至關(guān)重要。

目前大部分互聯(lián)網(wǎng)公司都會根據(jù)不同內(nèi)容載體構(gòu)建不同的模型來解決互聯(lián)網(wǎng)社區(qū)產(chǎn)品存在的內(nèi)容安全問題，例如圖片識別模型，文本識別模型。大多數(shù)公司都使用分類模型來對不同的內(nèi)容載體進行違規(guī)識別。然而受限于互聯(lián)網(wǎng)社區(qū)產(chǎn)品中文本的長度不一，使用分類模型難以解決長文本中局部違規(guī)片段的識別問題，這就會造成違規(guī)內(nèi)容的漏放，短期可能會給平臺造成一定的內(nèi)容安全風(fēng)險，長期可能會影響社區(qū)氛圍、降低日活。因此如何對互聯(lián)網(wǎng)社區(qū)產(chǎn)品中長文本違規(guī)片段進行識別，從而解決漏放問題，對提高互聯(lián)網(wǎng)社區(qū)產(chǎn)品的風(fēng)控能力至關(guān)重要。

目前，大部分的互聯(lián)網(wǎng)社區(qū)產(chǎn)品都是通過文本分類的方式對違規(guī)文本進行識別，然后交由人審進行二次判斷，從而識別出違規(guī)樣本。由于初期文本的數(shù)量巨大，通過機器判斷的方式降低進入人審的數(shù)量是非常重要的。因此機器的判斷是否會有漏放，成為整個審查系統(tǒng)中最大的不確定性。使用普通的文本分類模型會解決一部分問題，但根據(jù)長久對漏放違規(guī)文本的觀察發(fā)現(xiàn)，文本分類模型在長文本中只有一小部分違規(guī)片段存在的情況下往往難以召回，會造成漏放，繼而給平臺造成風(fēng)險，同時也會破壞社區(qū)氛圍，影響用戶體驗和留存。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問題，本發(fā)明提供一種線上評論的違規(guī)片段提取方法和裝置，從而達(dá)到降低違規(guī)文本漏放，減小互聯(lián)網(wǎng)社區(qū)的違規(guī)風(fēng)險的目的。

根據(jù)本發(fā)明實施例的第一方面，提供一種線上評論的違規(guī)片段提取方法，所述方法包括：

通過文本分類模型對互聯(lián)網(wǎng)社區(qū)的每個線上評論進行分類，以得到文本分類結(jié)果，其中，文本分類結(jié)果包括評論通過審核和評論疑似違規(guī)；

對文本分類結(jié)果為評論疑似違規(guī)的所有第一目標(biāo)線上評論進行人工審核和違規(guī)片段標(biāo)注，以得到第一訓(xùn)練集；

從文本分類結(jié)果為評論通過審核的所有第二目標(biāo)線上評論中抽取第三目標(biāo)線上評論，以得到第二訓(xùn)練集；

使用所述第一訓(xùn)練集和所述第二訓(xùn)練集進行模型訓(xùn)練，以得到違規(guī)片段提取模型；

使用所述違規(guī)片段提取模型對所述多個線上評論進行違規(guī)片段提取，以得到違規(guī)片段提取結(jié)果；

根據(jù)每個線上評論對應(yīng)的文本分類結(jié)果和違規(guī)片段提取結(jié)果確定其是否通過違規(guī)審核。

在一個實施例中，優(yōu)選地，從文本分類結(jié)果為評論通過審核的所有第二目標(biāo)線上評論中抽取第三目標(biāo)線上評論，以得到第二訓(xùn)練集，包括：

從文本分類結(jié)果為評論通過審核的所有第二目標(biāo)線上評論中抽取與所述第一訓(xùn)練集等量的第三目標(biāo)線上評論，以得到第二訓(xùn)練集。

在一個實施例中，優(yōu)選地，對文本分類結(jié)果為評論疑似違規(guī)的所有第一目標(biāo)線上評論進行人工審核和違規(guī)片段標(biāo)注，以得到第一訓(xùn)練集，包括：