[發(fā)明專(zhuān)利]一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110357849.4
• 申請(qǐng)日: 2021-04-01
• 公開(kāi)（公告）號(hào): CN113223515B
• 公開(kāi)（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 徐東亮;姜開(kāi)勛;郗浩宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東大學(xué)
• 主分類(lèi)號(hào): G10L15/22
• 分類(lèi)號(hào): G10L15/22;G10L15/26;G10L25/24;G10L15/06
• 代理公司: 鄭州睿途知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41183
• 代理人: 李伊寧

1.一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法，其特征在于：依次包括以下步驟：

A：選取語(yǔ)音數(shù)據(jù)集，并將語(yǔ)音數(shù)據(jù)集中的音頻根據(jù)設(shè)定的采樣頻率進(jìn)行采樣，選取最長(zhǎng)音頻的采樣結(jié)果作為長(zhǎng)度標(biāo)準(zhǔn)，然后對(duì)低于長(zhǎng)度標(biāo)準(zhǔn)的所有采樣結(jié)果分別進(jìn)行數(shù)據(jù)補(bǔ)零對(duì)齊，最終得到語(yǔ)音采樣數(shù)據(jù)；

B：根據(jù)步驟A中得到的語(yǔ)音采樣數(shù)據(jù)生成語(yǔ)音對(duì)抗樣本；

步驟B中，利用步驟A中得到的語(yǔ)音采樣數(shù)據(jù)生成兩種類(lèi)型的語(yǔ)音對(duì)抗樣本；

步驟B包括具體步驟：

B1：根據(jù)CW方法生成第一種語(yǔ)音對(duì)抗樣本；CW方法指Carlini and Wagner Attacks方法；

根據(jù)CW方法生成語(yǔ)音對(duì)抗樣本的具體方法如下：

B11：將步驟A中得到的語(yǔ)音采樣數(shù)據(jù)加上一個(gè)隨機(jī)的噪聲δ，隨機(jī)的噪聲δ符合高斯分布；

B12：首先將混入隨機(jī)的噪聲δ的語(yǔ)音采樣數(shù)據(jù)通過(guò)梅爾頻率倒譜系數(shù)進(jìn)行特征提取，得到語(yǔ)音特征；然后將語(yǔ)音特征輸入到語(yǔ)音識(shí)別模型中，得到以文本形式輸出的識(shí)別結(jié)果；

B13：利用損失函數(shù)對(duì)加入語(yǔ)音采樣數(shù)據(jù)中的隨機(jī)的噪聲δ進(jìn)行反向傳播訓(xùn)練，最終得到訓(xùn)練后的噪聲δ；

損失函數(shù)為：

其中，minimize表示最小化，δ為添加的隨機(jī)的噪聲；||δ||₂表示δ的L2范式，c為權(quán)值，x表示語(yǔ)音采樣數(shù)據(jù)，x+δ表示添加噪聲δ后的語(yǔ)音采樣數(shù)據(jù)；T(x+δ)表示步驟B12中得到的添加噪聲δ的語(yǔ)音數(shù)據(jù)經(jīng)過(guò)處理后輸入語(yǔ)音識(shí)別模型中輸出的識(shí)別結(jié)果文本，t表示目標(biāo)語(yǔ)音對(duì)應(yīng)的文本；l(T(x+δ),t)表示添加噪聲δ后的語(yǔ)音采樣向量經(jīng)過(guò)MFCC處理后放入DeepSpeech中的識(shí)別結(jié)果與目標(biāo)語(yǔ)音對(duì)應(yīng)的文本經(jīng)過(guò)CTC編碼對(duì)齊后得到損失值，l(T(x+δ)，t)的邏輯意義表示添加噪聲的語(yǔ)音特征的識(shí)別結(jié)果與目標(biāo)語(yǔ)音差異最小，dB_x(δ)≤τ為該損失函數(shù)的約束條件，dB_x(δ)＝dB(δ)-dB(x)，表示添加的噪聲與原語(yǔ)音采樣數(shù)據(jù)的差異，τ為常數(shù)；

B14：將步驟B13迭代生成的訓(xùn)練后的噪聲δ與步驟A中生成的語(yǔ)音采樣數(shù)據(jù)相加，寫(xiě)入wav格式的文件，得到第一種語(yǔ)音對(duì)抗樣本；

B2：根據(jù)有目標(biāo)的PGD攻擊方法生成第二種語(yǔ)音對(duì)抗樣本：PGD攻擊方法指ProjectGradient Descent攻擊方法；

根據(jù)有目標(biāo)的PGD攻擊方法生成第二種語(yǔ)音對(duì)抗樣本的具體方法如下：

B21：定義參數(shù)取值，參數(shù)包括學(xué)習(xí)率、每一次迭代的步幅大小及迭代次數(shù)；

B22：根據(jù)下述公式進(jìn)行梯度下降，迭代生成對(duì)抗語(yǔ)音數(shù)據(jù)；

其中，表示第i次迭代生成的對(duì)抗語(yǔ)音數(shù)據(jù)，clip表示每次迭代的步幅，α表示學(xué)習(xí)率，x表示步驟A中獲得語(yǔ)音采樣數(shù)據(jù)，t表示目標(biāo)語(yǔ)音對(duì)應(yīng)的文本，表示第i次迭代產(chǎn)生的對(duì)抗語(yǔ)音數(shù)據(jù)輸入到語(yǔ)音識(shí)別模型DeepSpeech中的識(shí)別結(jié)果文本與目標(biāo)語(yǔ)音對(duì)應(yīng)的文本t經(jīng)過(guò)CTC編碼對(duì)齊后得到損失值，表示模型的梯度值經(jīng)過(guò)符號(hào)函數(shù)sign處理的結(jié)果；

B23：將最后一次迭代生成的對(duì)抗語(yǔ)音數(shù)據(jù)寫(xiě)入wav格式的文件，得到第二種語(yǔ)音對(duì)抗樣本；

C：對(duì)步驟A中選取的語(yǔ)音數(shù)據(jù)集中的音頻以及步驟B中的語(yǔ)音對(duì)抗樣本根據(jù)設(shè)定的采樣率進(jìn)行采樣，然后選取語(yǔ)音數(shù)據(jù)集和語(yǔ)音對(duì)抗樣本中的最長(zhǎng)的采樣結(jié)果作為長(zhǎng)度標(biāo)準(zhǔn)，對(duì)低于長(zhǎng)度標(biāo)準(zhǔn)的語(yǔ)音數(shù)據(jù)集和語(yǔ)音對(duì)抗樣本中的每一個(gè)采樣結(jié)果分別進(jìn)行補(bǔ)零對(duì)齊，得到防御模型的輸入；將語(yǔ)音數(shù)據(jù)集中的音頻對(duì)應(yīng)的數(shù)據(jù)稱為原音頻，語(yǔ)音對(duì)抗樣本對(duì)應(yīng)的數(shù)據(jù)稱為對(duì)抗音頻；

D：構(gòu)建基于GAN模型的DD-GAN防御模型；DD-GAN模型包括生成模型和判別模型，生成模型G模型用于將對(duì)抗音頻進(jìn)行去對(duì)抗性處理，生成無(wú)對(duì)抗性的音頻；判別模型D模型用于判斷G模型生成的音頻是否具有對(duì)抗性；DD-GAN模型指Deep Defense GAN模型；

步驟D中，G模型的構(gòu)建過(guò)程如下：

D11：構(gòu)造G模型的編碼部分；

G模型包含12個(gè)編碼器，每一個(gè)編碼器均為一個(gè)卷積的過(guò)程，編碼器結(jié)構(gòu)包括卷積類(lèi)型、步長(zhǎng)、激活函數(shù)和卷積核大小；

D12：構(gòu)建隱變量；

D13：構(gòu)造G模型的解碼部分；

G模型包含12個(gè)解碼器，每一個(gè)解碼器均為一個(gè)反卷積的過(guò)程，解碼器的結(jié)構(gòu)包括反卷積類(lèi)型、步長(zhǎng)、激活函數(shù)和卷積核大小；

其中，12個(gè)解碼器依次為第一解碼器，第二解碼器，……，第十二解碼器；12個(gè)編碼器依次為第一編碼器，第二編碼器，……，第十二編碼器；

G模型的生成過(guò)程如下：

D21：將步驟C中獲得的原音頻作為輸入，依次使用每一個(gè)編碼器進(jìn)行編碼操作；將最后一次編碼操作后得到的特征向量與隱變量進(jìn)行拼接；

D22：將特征向量與隱變量進(jìn)行拼接后的特征向量，依次使用每一個(gè)解碼器進(jìn)行解碼操作，在第一解碼器至第十一解碼器每次解碼完成后，分別將解碼得到的特征向量，與對(duì)應(yīng)的編碼器編碼得到的特征向量進(jìn)行拼接作為下一次解碼的輸入；其中，第一解碼器與第十一編碼器對(duì)應(yīng)，第二解碼器與第十編碼器對(duì)應(yīng)，……，第十一解碼器與第一編碼器對(duì)應(yīng)；

D23：第十二解碼器解碼后得到的特征向量，與步驟D21中作為輸入的原音頻為大小相等的特征向量；最終得到G模型生成的語(yǔ)音數(shù)據(jù)，記為生成音頻；

D模型的結(jié)構(gòu)構(gòu)建過(guò)程如下：

D31：構(gòu)造與G模型編碼部分相同的編碼器；

D32：構(gòu)造一個(gè)一維全卷積，使得編碼得到的特征向量的通道數(shù)變?yōu)?，卷積核的大小為1，步長(zhǎng)為1；

D33：構(gòu)造一個(gè)全連接層，全連接層的輸入為上一步的輸出向量，全連接層的輸出為一個(gè)表示概率值的神經(jīng)元，若神經(jīng)元為1則表示輸入的音頻不具有對(duì)抗性，若神經(jīng)元為0則表示輸入的音頻具有對(duì)抗性；

D模型的前向傳播過(guò)程為：

D41：D模型的輸入為變量組，變量組有兩種情況：

第一種情況，輸入的變量組為對(duì)抗音頻與原音頻組合，D模型中全連接層輸出的神經(jīng)元為1，表示原音頻不具有對(duì)抗性；第二種情況為生成音頻與對(duì)抗音頻的組合，D模型中全連接層輸出的神經(jīng)元為0，表示生成音頻具有對(duì)抗性；

D42：將輸入進(jìn)行編碼得到的編碼向量經(jīng)過(guò)一維卷積得到通道數(shù)為1的特征向量；

D43：將步驟D42中生成的特征向量進(jìn)行全連接，得到D模型中全連接層輸出的神經(jīng)元；

步驟D中：

G模型的構(gòu)建過(guò)程中，

在步驟D11中：編碼器的卷積類(lèi)型為一維卷積，步長(zhǎng)為2，卷積核大小為31；激活函數(shù)為L(zhǎng)eakyRelu；

其中，a的取值為0.01；

在步驟D12中：隱變量的大小為經(jīng)過(guò)12個(gè)編碼器編碼后形成的特征向量的大小；

在步驟D13中：解碼器的卷積類(lèi)型為一維反卷積，步長(zhǎng)為2，激活函數(shù)為L(zhǎng)eakyRelu，卷積核的大小為31；

G模型的生成過(guò)程中，

在步驟D21中：將步驟C中獲得的原音頻作為輸入并依次使用每一個(gè)編碼器進(jìn)行編碼操作后，得到大小為4×1024的特征向量，其中1024為通道的數(shù)量；原音頻為一維特征向量，大小為16384；將最后一次編碼操作后得到的特征向量與隱變量進(jìn)行拼接后，得到大小為4×2048的特征向量；

在步驟D22中：將大小為4×2048的特征向量依次使用每一個(gè)解碼器進(jìn)行解碼操作；

D模型的前向傳播過(guò)程中，

在步驟D41中：輸入的變量組為對(duì)抗音頻大小為16384，原音頻大小為16384，抗音頻與原音頻組合后大小為16384×2；生成音頻大小為16384，生成音頻與對(duì)抗音頻的組合后大小為16384×2；

在步驟D42中：將大小為16384×2的輸入進(jìn)行編碼，得到大小為4×1024的編碼向量；大小為4×1024的編碼向量經(jīng)過(guò)一維卷積得到通道數(shù)為1且大小為4×1的特征向量；

在步驟D43中：將步驟D42中生成的大小為4×1的特征向量進(jìn)行全連接；

E：分別確定G模型與D模型的損失函數(shù)，并根據(jù)損失函數(shù)對(duì)防御模型DD-GAN進(jìn)行訓(xùn)練；

步驟E中：

G模型的損失函數(shù)為：

其中，n為原音頻的訓(xùn)練集的音頻個(gè)數(shù)，為第i個(gè)原音頻對(duì)應(yīng)的對(duì)抗音頻，x⁽ⁱ⁾為第i個(gè)原音頻，為G模型產(chǎn)生的生成音頻，表示D模型判斷G模型產(chǎn)生的生成音頻是否具有對(duì)抗性的概率，λ為調(diào)節(jié)參數(shù)，表示L2范式，z為隱變量；

D模型的損失函數(shù)為：

F：將待識(shí)別語(yǔ)音利用步驟E中訓(xùn)練好的防御模型DD-GAN處理后，再通過(guò)語(yǔ)音識(shí)別模型進(jìn)行識(shí)別。