[發(fā)明專利]基于遺傳算法的對(duì)抗卷積神經(jīng)網(wǎng)絡(luò)句子相似度計(jì)算方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110295650.3
• 申請(qǐng)日: 2021-03-19
• 公開(kāi)（公告）號(hào): CN112906820A
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 黃興哲;高亞
• 申請(qǐng)（專利權(quán)）人: 中國(guó)石油大學(xué)（華東）
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于遺傳算法的對(duì)抗卷積神經(jīng)網(wǎng)絡(luò)句子相似度計(jì)算方法，屬于中文自然語(yǔ)言處理領(lǐng)域。針對(duì)現(xiàn)有方法缺少對(duì)抗樣本的檢測(cè)機(jī)制無(wú)法實(shí)現(xiàn)模型安全性的保證問(wèn)題。本發(fā)明基于遺傳算法和對(duì)抗卷積神經(jīng)網(wǎng)絡(luò)通過(guò)設(shè)置文本的修改率并與深度學(xué)習(xí)模型交互的形式來(lái)提升句子相似度計(jì)算模型的安全性。模型中在生成對(duì)抗樣本時(shí)考慮了文本的同義詞，位置信息，改變率等參數(shù)。本發(fā)明在微軟釋義語(yǔ)料庫(kù)上做了大量的實(shí)驗(yàn)驗(yàn)證了該方法的有效性，可用于提升句子相似度計(jì)算模型的安全性。

技術(shù)領(lǐng)域

本發(fā)明屬于一種算法程序，涉及到文本處理模型的安全機(jī)制，主要是句子語(yǔ)義評(píng)估模型對(duì)抗樣本的生成與檢測(cè)。

背景技術(shù)

文本處理模型在經(jīng)過(guò)數(shù)據(jù)的訓(xùn)練后可以對(duì)文本的語(yǔ)義進(jìn)行識(shí)別進(jìn)而實(shí)現(xiàn)大量文本數(shù)據(jù)的分析，深度學(xué)習(xí)模型通過(guò)預(yù)訓(xùn)練的參數(shù)根據(jù)輸入文本的特征完成文本的語(yǔ)義分類任務(wù)。然而，對(duì)語(yǔ)句進(jìn)行同義詞或者語(yǔ)序的轉(zhuǎn)化來(lái)干擾模型輸出的結(jié)果對(duì)深度學(xué)習(xí)模型的安全性產(chǎn)生了挑戰(zhàn)。這類經(jīng)過(guò)了同義詞替換或者語(yǔ)序轉(zhuǎn)化的文本被稱為對(duì)抗樣本。在傳統(tǒng)的安全增強(qiáng)模型中通過(guò)摻雜對(duì)抗樣本來(lái)訓(xùn)練文本處理模型提高模型的安全性。對(duì)抗樣本的生成大多通過(guò)粒子群算法來(lái)實(shí)現(xiàn)，例如螢火蟲(chóng)算法，蟻群算法等。這種將對(duì)抗樣本的生成和模型的訓(xùn)練分離開(kāi)的機(jī)制并不能有效地提升模型的安全性，有效增強(qiáng)模型安全性的關(guān)鍵在于對(duì)抗樣本的質(zhì)量和文本處理模型對(duì)對(duì)抗樣本特征的學(xué)習(xí)率。

對(duì)抗樣本的生成是通過(guò)替換原始樣本中的單詞和語(yǔ)序來(lái)實(shí)現(xiàn)的，Alzantot等人提出了一種基于遺傳算法的文本生成模型，通過(guò)遺傳算法的交叉、變異和遺傳操作，替換原始文本內(nèi)容，得到對(duì)抗樣本。該方法通過(guò)對(duì)文本中的單詞進(jìn)行同義替換來(lái)生成對(duì)抗文本。然而，在被替換的對(duì)抗性例句中存在許多語(yǔ)法錯(cuò)誤。另外，這種換詞方法不能有效地利用梯度信息產(chǎn)生干擾。對(duì)抗樣本的關(guān)鍵是如何盡可能減少對(duì)語(yǔ)義的影響，欺騙深度學(xué)習(xí)模型，這需要結(jié)合深度學(xué)習(xí)模型的分類結(jié)果來(lái)評(píng)判。

對(duì)抗樣本的檢測(cè)在是由文本分類模型完成的，安全性高的模型可以將對(duì)抗樣本進(jìn)行正確的語(yǔ)義評(píng)估。Ali等人提出了一種基于對(duì)抗訓(xùn)練的文本分類模型，該模型通過(guò)改變輸入深度學(xué)習(xí)模型的數(shù)據(jù)來(lái)降低擬合度，提高安全性能。這種方法雖然在一定程度上提高了模型的安全性，但是降低了模型分類的準(zhǔn)確性。

不同于現(xiàn)有的方法，我們的模型將對(duì)抗樣本的生成與深度學(xué)習(xí)模型的訓(xùn)練結(jié)合起來(lái)進(jìn)行交互式的信息反饋從而指導(dǎo)參數(shù)向更優(yōu)的方向訓(xùn)練。模型中使用遺傳算法來(lái)生成對(duì)抗樣本，并設(shè)置對(duì)抗例句的改變率，將訓(xùn)練后的樣本輸入到對(duì)抗卷積神經(jīng)網(wǎng)絡(luò)中評(píng)估樣本的攻擊性。為了同時(shí)保證樣本的攻擊性與模型的安全性，我們?cè)O(shè)置了樣本改變率和模型準(zhǔn)確率兩個(gè)閾值，在訓(xùn)練的過(guò)程尋找出一組能同時(shí)保證樣本攻擊性和準(zhǔn)確率的閾值參數(shù)。

發(fā)明內(nèi)容

本發(fā)明的目的是解決對(duì)抗樣本的訓(xùn)練缺少與深度學(xué)習(xí)模型的交互，模型對(duì)樣本的識(shí)別和判斷能力不能被保證的問(wèn)題。

為了解決以上問(wèn)題提出了交互式的對(duì)抗樣本訓(xùn)練與模型安全性增強(qiáng)機(jī)制，通過(guò)設(shè)置閾值參數(shù)的形式來(lái)保證對(duì)抗樣本的攻擊性和語(yǔ)義評(píng)估模型的安全性。其主要技術(shù)方案如下：

S1.在遺傳算法和深度學(xué)習(xí)模型中分別通過(guò)設(shè)置修改率和準(zhǔn)確率閾值的形式來(lái)保證對(duì)抗樣本的攻擊性和深度學(xué)習(xí)模型的安全性；

S2.設(shè)置語(yǔ)義相似度閾值，使用余弦距離相似度從同義詞集合中篩選待替換詞的同義詞并根據(jù)設(shè)置的改變率來(lái)進(jìn)行替換；

S3.在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上加入了對(duì)抗訓(xùn)練和對(duì)抗丟失層，使用對(duì)抗卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)對(duì)抗樣本的原始樣本的特征。

其中，基于遺傳算法的對(duì)抗樣本生成首先完成對(duì)原始句子的分詞并對(duì)句子中的動(dòng)詞根據(jù)同義詞表生成同義詞集合，通過(guò)余弦距離公式計(jì)算待替換詞和同義詞集合中單詞的相似度并根據(jù)設(shè)置的閾值threshold1進(jìn)行過(guò)濾,相似度大于threshold1的單詞被保留，小于threshold1的單詞被舍棄，相似度計(jì)算公式如下所示。

Sim(i,j)＝cos(i,j)，j∈syn(word) (1)