[發(fā)明專利]一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110357849.4
• 申請(qǐng)日: 2021-04-01
• 公開(kāi)（公告）號(hào): CN113223515B
• 公開(kāi)（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 徐東亮;姜開(kāi)勛;郗浩宇
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G10L15/22
• 分類號(hào): G10L15/22;G10L15/26;G10L25/24;G10L15/06
• 代理公司: 鄭州睿途知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 41183
• 代理人: 李伊寧

本發(fā)明公開(kāi)了一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法，包括以下步驟：A：選取語(yǔ)音數(shù)據(jù)集，得到語(yǔ)音采樣數(shù)據(jù)；B：根據(jù)語(yǔ)音采樣數(shù)據(jù)生成語(yǔ)音對(duì)抗樣本；C：對(duì)語(yǔ)音數(shù)據(jù)集中的音頻以及語(yǔ)音對(duì)抗樣本根據(jù)設(shè)定的采樣率進(jìn)行采樣，得到防御模型的輸入；D：構(gòu)建基于GAN模型的DD?GAN防御模型；E：分別確定G模型與D模型的損失函數(shù)，并根據(jù)損失函數(shù)對(duì)防御模型DD?GAN進(jìn)行訓(xùn)練；F：將待識(shí)別語(yǔ)音利用防御模型DD?GAN處理后，再通過(guò)語(yǔ)音識(shí)別模型進(jìn)行識(shí)別。本發(fā)明能夠提高語(yǔ)音識(shí)別模型抵抗惡意攻擊的能力。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音識(shí)別領(lǐng)域，尤其涉及一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法。

背景技術(shù)

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，自動(dòng)語(yǔ)音識(shí)別技術(shù)的運(yùn)用越來(lái)越廣泛。語(yǔ)音識(shí)別作為一種自然語(yǔ)言處理技術(shù)，可以將輸入的音頻信號(hào)轉(zhuǎn)為文字。目前，語(yǔ)音識(shí)別在生活中的應(yīng)用主要包含蘋(píng)果siri、智能音箱等產(chǎn)品，隨著技術(shù)的完善，語(yǔ)音識(shí)別在物聯(lián)網(wǎng)方面的應(yīng)用會(huì)越來(lái)越普及。自動(dòng)語(yǔ)音識(shí)別技術(shù)需要對(duì)輸入的音頻進(jìn)行預(yù)處理，進(jìn)行語(yǔ)音特征提取，因此，語(yǔ)音對(duì)抗樣本的研究極為重要。

語(yǔ)音識(shí)別技術(shù)的普及一定程度上會(huì)導(dǎo)致安全領(lǐng)域的隱患，因此，自動(dòng)語(yǔ)音識(shí)別技術(shù)的對(duì)抗性攻擊和防御開(kāi)始被人們關(guān)注。對(duì)抗性攻擊是指針對(duì)原始樣本添加細(xì)微的擾動(dòng)，在人類難以查別的情況下讓模型識(shí)別錯(cuò)誤。根據(jù)模型內(nèi)部結(jié)構(gòu)是否可知，對(duì)抗性攻擊可以分為白盒攻擊和黑盒攻擊。對(duì)抗樣本的防御就是通過(guò)一定的方法，增強(qiáng)模型的魯棒性或者降低對(duì)抗樣本的攻擊性，進(jìn)而減少或者完全消除對(duì)抗樣本對(duì)于模型的負(fù)面影響。

近幾年來(lái)出現(xiàn)的語(yǔ)音對(duì)抗攻擊攻擊性越來(lái)越強(qiáng)，種類越來(lái)越多，但相應(yīng)的防御模型出現(xiàn)的卻很少，這使得語(yǔ)音識(shí)別領(lǐng)域安全問(wèn)題開(kāi)始凸顯，也為語(yǔ)音識(shí)別技術(shù)的大規(guī)模商業(yè)化埋下了一定的隱患。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法，利用防御模型對(duì)待識(shí)別語(yǔ)音進(jìn)行處理后再進(jìn)行語(yǔ)音識(shí)別，從而有效地防御對(duì)抗樣本的攻擊，極大地提高了語(yǔ)音識(shí)別模型抵抗惡意攻擊的能力。

本發(fā)明采用下述技術(shù)方案：

一種對(duì)抗攻擊免疫的自動(dòng)語(yǔ)音識(shí)別方法，依次包括以下步驟：

A：選取語(yǔ)音數(shù)據(jù)集，并將語(yǔ)音數(shù)據(jù)集中的音頻根據(jù)設(shè)定的采樣頻率進(jìn)行采樣，選取最長(zhǎng)音頻的采樣結(jié)果作為長(zhǎng)度標(biāo)準(zhǔn)，然后對(duì)低于長(zhǎng)度標(biāo)準(zhǔn)的所有采樣結(jié)果分別進(jìn)行數(shù)據(jù)補(bǔ)零對(duì)齊，最終得到語(yǔ)音采樣數(shù)據(jù)；

B：根據(jù)步驟A中得到的語(yǔ)音采樣數(shù)據(jù)生成語(yǔ)音對(duì)抗樣本；

C：對(duì)步驟A中選取的語(yǔ)音數(shù)據(jù)集中的音頻以及步驟B中的語(yǔ)音對(duì)抗樣本根據(jù)設(shè)定的采樣率進(jìn)行采樣，然后選取語(yǔ)音數(shù)據(jù)集和語(yǔ)音對(duì)抗樣本中的最長(zhǎng)的采樣結(jié)果作為長(zhǎng)度標(biāo)準(zhǔn)，對(duì)低于長(zhǎng)度標(biāo)準(zhǔn)的語(yǔ)音數(shù)據(jù)集和語(yǔ)音對(duì)抗樣本中的每一個(gè)采樣結(jié)果分別進(jìn)行補(bǔ)零對(duì)齊，得到防御模型的輸入；將語(yǔ)音數(shù)據(jù)集中的音頻對(duì)應(yīng)的數(shù)據(jù)稱為原音頻，語(yǔ)音對(duì)抗樣本對(duì)應(yīng)的數(shù)據(jù)稱為對(duì)抗音頻；

D：構(gòu)建基于GAN模型的DD-GAN防御模型；DD-GAN模型包括生成模型和判別模型，生成模型G模型用于將對(duì)抗音頻進(jìn)行去對(duì)抗性處理，生成無(wú)對(duì)抗性的音頻；判別模型D模型用于判斷G模型生成的音頻是否具有對(duì)抗性；

E：分別確定G模型與D模型的損失函數(shù)，并根據(jù)損失函數(shù)對(duì)防御模型DD-GAN進(jìn)行訓(xùn)練；

F：將待識(shí)別語(yǔ)音利用步驟E中訓(xùn)練好的防御模型DD-GAN處理后，再通過(guò)語(yǔ)音識(shí)別模型進(jìn)行識(shí)別。

所述的步驟A中，選取Mozilla Common Voice database語(yǔ)音數(shù)據(jù)集作為數(shù)據(jù)集，使用16KHZ的采樣頻率進(jìn)行采樣得到語(yǔ)音采樣數(shù)據(jù)。

所述的步驟B中，利用步驟A中得到的語(yǔ)音采樣數(shù)據(jù)生成兩種類型的語(yǔ)音對(duì)抗樣本。

所述的步驟B包括具體步驟：

B1：根據(jù)CW方法生成第一種語(yǔ)音對(duì)抗樣本；