[發(fā)明專利]一種面向文本審核的中文對(duì)抗樣本生成方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011259475.4
• 申請(qǐng)日: 2020-11-12
• 公開（公告）號(hào): CN112364641A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 王婧宜;孔慶超;張佳旭;蔣永余;郭建彬;吳曉飛;曹家;趙菲菲;羅引;王磊
• 申請(qǐng)（專利權(quán)）人: 北京中科聞歌科技股份有限公司;深圳中科聞歌科技有限公司;北京中科聞歌智安科技有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/166
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 盧萬騰;吳雪

本申請(qǐng)涉及一種面向文本審核的中文對(duì)抗樣本生成方法及裝置，其中方法包括：獲取待處理語句信息；對(duì)待處理語句信息進(jìn)行分詞，得到多個(gè)詞語；確定詞語的第一重要性信息；獲取各個(gè)詞語對(duì)應(yīng)的擾動(dòng)詞語；根據(jù)第一重要性信息，依次得到將待處理語句信息中各個(gè)詞語替換為對(duì)應(yīng)的擾動(dòng)詞語后的擾動(dòng)語句信息；在確定擾動(dòng)語句信息滿足預(yù)設(shè)條件時(shí)，根據(jù)擾動(dòng)語句信息得到對(duì)待處理語句信息攻擊成功后的對(duì)抗樣本。通過本實(shí)施例中的方法可以實(shí)現(xiàn)對(duì)待處理語句進(jìn)行詞語替換的方式得到對(duì)抗樣本，進(jìn)而可以增加用于對(duì)預(yù)測(cè)模型進(jìn)行訓(xùn)練的樣本的多樣性，同時(shí)可以通過自動(dòng)生成對(duì)抗樣本，提升訓(xùn)練數(shù)據(jù)獲取的便利性，提升模型訓(xùn)練的效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能領(lǐng)域，尤其涉及一種面向文本審核的中文對(duì)抗樣本生成方法及裝置。

背景技術(shù)

近年來隨著大數(shù)據(jù)技術(shù)的發(fā)展以及硬件計(jì)算能力的不斷提升，深度學(xué)習(xí)技術(shù)在許多領(lǐng)域得到了廣泛地應(yīng)用，例如計(jì)算機(jī)視覺、語音識(shí)別和自然語言處理。然而，伴隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，深度學(xué)習(xí)模型的安全問題逐漸引起了研究者的關(guān)注。Szegedy等人首先發(fā)現(xiàn)了對(duì)抗樣本(Adversarial Examples)的存在：即通過在數(shù)據(jù)集中故意添加微小的干擾所形成的輸入樣本，導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤的輸出。

對(duì)抗樣本揭示了深度學(xué)習(xí)模型的脆弱性，引發(fā)了研究者的極大關(guān)注。在自然語言處理(NLP)領(lǐng)域，針對(duì)深度學(xué)習(xí)模型的對(duì)抗樣本已經(jīng)威脅到了包括文本審核在內(nèi)的現(xiàn)實(shí)應(yīng)用。文本審核(即過濾文本中的有害內(nèi)容，如辱罵、歧視、人身攻擊、種族主義言論等)是NLP應(yīng)用的重要組成部分，其中基于關(guān)鍵詞匹配和基于機(jī)器學(xué)習(xí)的文本分類方法是目前最常用的審核方法。然而，有害內(nèi)容的發(fā)布者常常對(duì)表達(dá)情感的敏感詞做一些變形，使處理后的有害信息可以繞過文本審核系統(tǒng)的檢測(cè)，例如使用“費(fèi)物”代替“廢物”，即可達(dá)到上述目的。相關(guān)技術(shù)中的，基于關(guān)鍵詞的文本審核系統(tǒng)無法迅速應(yīng)對(duì)這些變形詞，需要額外的人工審核。

針對(duì)相關(guān)技術(shù)中存在的諸多技術(shù)問題，目前尚未提供有效的解決方案。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本申請(qǐng)?zhí)峁┝艘环N面向文本審核的中文對(duì)抗樣本生成方法及裝置。

第一方面，本申請(qǐng)實(shí)施例提供了一種面向文本審核的中文對(duì)抗樣本生成方法，包括：

獲取待處理語句信息；

對(duì)所述待處理語句信息進(jìn)行分詞，得到多個(gè)詞語；

確定所述詞語的第一重要性信息；

獲取各個(gè)所述詞語對(duì)應(yīng)的擾動(dòng)詞語；

根據(jù)所述第一重要性信息，依次得到將所述待處理語句信息中各個(gè)所述詞語替換為對(duì)應(yīng)的擾動(dòng)詞語后的擾動(dòng)語句信息；

在確定所述擾動(dòng)語句信息滿足預(yù)設(shè)條件時(shí)，根據(jù)所述擾動(dòng)語句信息得到對(duì)所述待處理語句信息攻擊成功后的對(duì)抗樣本。

可選的，如前述的方法，所述獲取各個(gè)所述詞語對(duì)應(yīng)的擾動(dòng)詞語，包括：

確定所述詞語的拼音以及字形；

根據(jù)所述拼音，將所述詞語中的至少一個(gè)字替換為拼音后得到的字符作為所述擾動(dòng)詞語；或者，

根據(jù)所述字形，將所述詞語中的至少一個(gè)字替換為字形滿足預(yù)設(shè)相似度要求的形近字后得到的字符作為所述擾動(dòng)詞語；或者，

根據(jù)所述拼音以及字形，將所述詞語中的至少一個(gè)字替換為同音和/或字形滿足預(yù)設(shè)相似度要求的同音形近字后得到的字符作為所述擾動(dòng)詞語。

可選的，如前述的方法，還包括：

將所述詞語按照所述第一重要性信息由高至低進(jìn)行排列，得到各個(gè)詞語對(duì)應(yīng)的排列次序信息；