[發(fā)明專利]基于遺傳算法的對抗卷積神經(jīng)網(wǎng)絡句子相似度計算方法

在審

• 申請?zhí)枺?/td>: 202110295650.3
• 申請日: 2021-03-19
• 公開（公告）號: CN112906820A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設計）人: 黃興哲;高亞
• 申請（專利權(quán)）人: 中國石油大學（華東）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于遺傳算法的對抗卷積神經(jīng)網(wǎng)絡句子相似度計算方法，其特征在于，所述方法應該包括以下步驟：

S1.使用遺傳算法來生成對抗樣本并通過設置修改率和準確率閾值的形式來保證對抗樣本的攻擊性和深度學習模型的安全性；

S2.設置語義相似度閾值，使用余弦距離相似度從同義詞集合中篩選待替換詞的同義詞并根據(jù)設置的改變率來進行替換；

S3.在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡基礎上加入了對抗訓練和對抗丟失層，使用對抗卷積神經(jīng)網(wǎng)絡來學習對抗樣本原始樣本的特征。

2.根據(jù)權(quán)利要求1所述的基于遺傳算法的對抗卷積神經(jīng)網(wǎng)絡句子相似度計算方法，其特征在于，所述S1具體過程為：

遺傳算法的過程包括交叉，遺傳和變異，根據(jù)適應度函數(shù)來選擇基因優(yōu)良的個體遺傳下去，初始總?cè)河稍嫉木渥雍徒?jīng)過閾值過濾的同義詞構(gòu)成，交叉過程通過句子對之間同義詞集合中單詞的互換來完成，遺傳過程將上一次迭代中保留下來的同義詞再加入下一次迭代的集合中來實現(xiàn)，變異則是使用被閾值過濾掉的同義詞來進行，算法的適應度函數(shù)設置如下：

其中，sta_score為原始句子對的相似度，jud_score為深度學習模型計算的語義相似度，α為加權(quán)系數(shù)，revWords為句子中替換的單詞的個數(shù)，totalWords為句子中單詞的總個數(shù)，此外，在對抗文本生成過程中設置修改率來保證樣本的攻擊性，在與深度學習模型的交互過程中設置準確率閾值來保證安全性。

3.根據(jù)權(quán)利要求1所述的基于遺傳算法的對抗卷積神經(jīng)網(wǎng)絡句子相似度計算方法，其特征在于，所述的S2具體過程為：

通過余弦距離公式計算待替換詞和同義詞集合中單詞的相似度并根據(jù)設置的閾值threshold1進行過濾,相似度大于threshold1的單詞被保留，小于threshold1的單詞被舍棄，相似度計算公式如下：

Sim(i,j)＝cos(i,j)，j∈syn(word) (2)

其中，i為待替換句子中的單詞，j為同義詞集合中的單詞，syn(word)為待過濾的同義詞集合。

4.根據(jù)權(quán)利要求1所述的基于遺傳算法的對抗卷積神經(jīng)網(wǎng)絡句子相似度計算方法，其特征在于，所述的S3具體過程為：

提出的對抗式神經(jīng)網(wǎng)絡與傳統(tǒng)的神經(jīng)網(wǎng)絡多出了對抗訓練層和對抗丟失層，同時網(wǎng)絡具有不同的訓練樣本，在對抗性神經(jīng)網(wǎng)絡中，按照一定混合比例輸入遺傳算法生成的對抗性實例和原始的句子對，對抗訓練是一種正則化方法，可以有效地降低模型的擬合度，防止過擬合現(xiàn)象。

γ_ap＝-βg/||g||₂ (3)

其中，g是反向傳播的梯度，輸入到對抗卷積神經(jīng)網(wǎng)絡的樣本需要使用下列公式進行均一化，

其中，Sen_vec代表原始句子向量，Sen'_vec代表均一化后的句子向量，v_i代表句子中第i個單詞，f_i代表句子中單詞出現(xiàn)的次數(shù)，針對模型中輸入的句子對訓練過程中采用的損失函數(shù)如下。