[發(fā)明專利]一種對(duì)抗樣本的生成方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010213381.7
• 申請(qǐng)日: 2020-03-24
• 公開（公告）號(hào): CN113449097A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 呂中厚;王文華;劉焱
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/151;G06F40/216;G06F11/14;G06N20/00;G06N3/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種對(duì)抗樣本的生成方法，其特征在于，包括：

基于文本分類模型的原始文本樣本，生成多個(gè)粒子文本樣本，其中所述多個(gè)粒子文本樣本與所述原始文本樣本不同；

確定當(dāng)前多個(gè)粒子文本樣本中是否存在針對(duì)所述文本分類模型的有效對(duì)抗樣本，若存在，則將所述有效對(duì)抗樣本進(jìn)行輸出；

若不存在，則將當(dāng)前多個(gè)粒子文本樣本進(jìn)行更新，將更新后的多個(gè)粒子文本樣本作為當(dāng)前多個(gè)粒子文本樣本，并返回執(zhí)行確定當(dāng)前多個(gè)粒子文本樣本中是否存在針對(duì)所述文本分類模型的有效對(duì)抗樣本的步驟。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于文本分類模型的原始文本樣本，生成多個(gè)粒子文本樣本，包括：

生成文本分類模型的原始文本樣本對(duì)應(yīng)的多個(gè)備份文本樣本；

針對(duì)各所述備份文本樣本，從當(dāng)前備份文本樣本中選取至少一個(gè)單詞，并將選取的所述單詞進(jìn)行內(nèi)容轉(zhuǎn)換，得到當(dāng)前備份文本樣本對(duì)應(yīng)的粒子文本樣本。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，從當(dāng)前備份文本樣本中選取至少一個(gè)單詞，包括：

獲取當(dāng)前備份文本樣本中各單詞分別對(duì)應(yīng)的選擇概率值；其中，所述各單詞分別對(duì)應(yīng)的選擇概率值是根據(jù)各單詞對(duì)所述文本分類模型的檢測(cè)結(jié)果的影響度確定的；

基于所述選擇概率值從所述當(dāng)前備份文本樣本中選取至少一個(gè)單詞。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)各單詞對(duì)所述文本分類模型的檢測(cè)結(jié)果的影響度確定所述各單詞分別對(duì)應(yīng)的選擇概率值，包括：

針對(duì)各單詞，獲取第一分類結(jié)果和第二分類結(jié)果；其中，第一分類結(jié)果是將去除當(dāng)前單詞后的原始文本樣本輸入所述文本分類模型后，所述文本分類模型輸出的分類結(jié)果；第二分類結(jié)果是將所述原始文本樣本輸入所述文本分類模型后，所述文本分類模型輸出的分類結(jié)果；

確定第一分類結(jié)果與第二分類結(jié)果之間的差異度，根據(jù)所述差異度確定當(dāng)前單詞對(duì)所述文本分類模型的檢測(cè)結(jié)果的影響度；

根據(jù)各單詞對(duì)所述文本分類模型的檢測(cè)結(jié)果的影響度確定各單詞對(duì)應(yīng)的選擇概率值；其中，影響度越大的單詞所對(duì)應(yīng)的選擇概率值越大。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)各單詞對(duì)所述文本分類模型的檢測(cè)結(jié)果的影響度確定各單詞對(duì)應(yīng)的選擇概率值，包括：

按照影響度從小到大的順序?qū)⒏鲉卧~進(jìn)行排序；

根據(jù)排序結(jié)果確定各單詞的排序序號(hào)，其中位置越靠后的單詞的排序序號(hào)越大；

根據(jù)各單詞的排序序號(hào)確定各單詞的權(quán)重值，其中排序序號(hào)越大的單詞的權(quán)重值越大；

根據(jù)各單詞的權(quán)重值確定各單詞對(duì)應(yīng)的選擇概率值，其中權(quán)重值越大的單詞所對(duì)應(yīng)的選擇概率值越大。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將當(dāng)前多個(gè)粒子文本樣本進(jìn)行更新，包括：

確定當(dāng)前多個(gè)粒子文本樣本中的全局最優(yōu)樣本和全局最差樣本；

針對(duì)當(dāng)前多個(gè)粒子文本樣本中的各粒子文本樣本，基于所述全局最優(yōu)樣本將當(dāng)前粒子文本樣本進(jìn)行第一內(nèi)容轉(zhuǎn)化操作，以提高當(dāng)前粒子文本樣本與所述全局最優(yōu)樣本之間的內(nèi)容接近度；

基于所述全局最差樣本將當(dāng)前粒子文本樣本進(jìn)行第二內(nèi)容轉(zhuǎn)化操作，以降低當(dāng)前粒子文本樣本與所述全局最差樣本之間的內(nèi)容接近度。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，確定當(dāng)前多個(gè)粒子文本樣本中的全局最優(yōu)樣本和全局最差樣本，包括：

獲取第二分類結(jié)果和當(dāng)前多個(gè)粒子文本樣本中各粒子文本樣本分別對(duì)應(yīng)的第三分類結(jié)果；其中，第二分類結(jié)果是將所述原始文本樣本輸入所述文本分類模型后，所述文本分類模型輸出的分類結(jié)果；第三分類結(jié)果是將對(duì)應(yīng)粒子文本樣本輸入所述文本分類模型后，所述文本分類模型輸出的分類結(jié)果；

確定與第二分類結(jié)果的接近度最低的第三分類結(jié)果，將所述接近度最低的第三分類結(jié)果所對(duì)應(yīng)的粒子文本樣本，作為全局最優(yōu)樣本；

確定與第二分類結(jié)果的接近度最高的第三分類結(jié)果，將所述接近度最高的第三分類結(jié)果所對(duì)應(yīng)的粒子文本樣本，作為全局最差樣本。