[發(fā)明專利]一種基于CycleGAN的語(yǔ)音識(shí)別模型的防御方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010433039.8
• 申請(qǐng)日: 2020-05-20
• 公開(kāi)（公告）號(hào): CN111627429B
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 陳晉音;葉林輝
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L21/0208;G10L15/20
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

本發(fā)明公開(kāi)了一種基于CycleGAN的語(yǔ)音識(shí)別模型的防御方法及裝置，所述防御方法利用對(duì)抗樣本數(shù)據(jù)集和正常語(yǔ)音數(shù)據(jù)集訓(xùn)練CycleGAN模型，使該模型中的G_A～B生成器能夠?qū)?duì)抗樣本進(jìn)行去噪操作，而對(duì)于正常樣本沒(méi)有影響，將其集成到語(yǔ)音識(shí)別模型中作為前端處理裝置，提高語(yǔ)音識(shí)別模型的識(shí)別精度，并使語(yǔ)音識(shí)別模型能夠抵御對(duì)抗樣本的攻擊，提高語(yǔ)音識(shí)別模型的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)算法及信息安全研究領(lǐng)域，具體涉及一種基于CycleGAN的語(yǔ)音識(shí)別模型的防御方法。

背景技術(shù)

隨著技術(shù)的不斷發(fā)展，語(yǔ)音識(shí)別技術(shù)正在越來(lái)越多的被人們使用。語(yǔ)音識(shí)別技術(shù)帶來(lái)了極大的便利性，簡(jiǎn)化了人與機(jī)器之間的通信，省略了中間鍵盤輸入和手寫的步驟，有著豐富的應(yīng)用場(chǎng)景。在智能化家電領(lǐng)域，有語(yǔ)音控制的家電設(shè)備，人們用語(yǔ)音就可以控制家里的所有語(yǔ)音設(shè)備；在國(guó)防領(lǐng)域，自動(dòng)語(yǔ)音識(shí)別系統(tǒng)通過(guò)語(yǔ)音命令提供選定的駕駛艙控制，為飛行員帶來(lái)了方便；在醫(yī)療領(lǐng)域，利用語(yǔ)音識(shí)別技術(shù)幫助有顯著發(fā)聲障礙的患者的語(yǔ)言表達(dá)；在自動(dòng)駕駛領(lǐng)域，可以利用語(yǔ)音控制車載設(shè)備，甚至可以控制汽車的行駛。

近些年來(lái)，深度學(xué)習(xí)的應(yīng)用給語(yǔ)音識(shí)別系統(tǒng)帶來(lái)了極為便捷的訓(xùn)練步驟，并且大幅度的提高了語(yǔ)音識(shí)別模型的識(shí)別精度，2017年，微軟語(yǔ)音識(shí)別系統(tǒng)錯(cuò)誤率由5.9％降低到5.1％，可達(dá)到專業(yè)速記員的水平；國(guó)內(nèi)語(yǔ)音識(shí)別行業(yè)的佼佼者科大訊飛的語(yǔ)音聽(tīng)寫準(zhǔn)確率則達(dá)到了95％，表現(xiàn)優(yōu)良。雖然深度學(xué)習(xí)帶來(lái)了便捷的訓(xùn)練步驟也提高了模型的識(shí)別精度，但是深度學(xué)習(xí)也給語(yǔ)音識(shí)別系統(tǒng)帶來(lái)了潛在的風(fēng)險(xiǎn)。最近的研究表明，深度神經(jīng)網(wǎng)絡(luò)容易受到對(duì)輸入數(shù)據(jù)進(jìn)行細(xì)微擾動(dòng)形式的對(duì)抗攻擊。這種做法會(huì)導(dǎo)致模型輸出不正確的預(yù)測(cè)結(jié)果，在一些場(chǎng)景下會(huì)造成一些嚴(yán)重的事故。如在自動(dòng)駕駛領(lǐng)域，若語(yǔ)音識(shí)別系統(tǒng)被外加的細(xì)微擾動(dòng)所攻擊，汽車將會(huì)錯(cuò)誤的識(shí)別乘客的指令，如將“stop”識(shí)別為“go”，這給自動(dòng)駕駛系統(tǒng)帶來(lái)了極大的安全隱患，極有可能引發(fā)交通事故，造成人員的傷亡。

已有的語(yǔ)音識(shí)別攻擊方法主要分為白盒和黑盒攻擊。白盒攻擊是攻擊者已知模型內(nèi)部參數(shù)的情況下進(jìn)行的，如利用快速梯度符號(hào)法(FGSM)，通過(guò)反向傳播計(jì)算模型關(guān)于噪聲的梯度，不斷迭代生成對(duì)抗樣本。黑盒攻擊是攻擊者在未知模型內(nèi)部參數(shù)的情況下進(jìn)行的，利用一些尋優(yōu)算法，如利用遺傳算法(GA)，粒子群算法(PSO)不斷優(yōu)化所需要添加的擾動(dòng)，迭代生成對(duì)抗樣本。由此可以利用白盒或黑盒攻擊方法，對(duì)語(yǔ)音識(shí)別模型進(jìn)行攻擊，使生成的對(duì)抗樣本能夠被識(shí)別為目標(biāo)短語(yǔ)。

基于以上語(yǔ)音識(shí)別模型易被攻擊的問(wèn)題，研究一種利用CycleGAN作為語(yǔ)音識(shí)別系統(tǒng)的前端，將其集成到語(yǔ)音識(shí)別模型中，對(duì)輸入語(yǔ)音識(shí)別系統(tǒng)的語(yǔ)音進(jìn)行處理，對(duì)于對(duì)抗樣本進(jìn)行去噪操作，而保留正常的語(yǔ)音，使語(yǔ)音識(shí)別系統(tǒng)達(dá)到抵御對(duì)抗樣本攻擊的效果具有重要的意義和實(shí)踐價(jià)值。

發(fā)明內(nèi)容

針對(duì)目前語(yǔ)音識(shí)別系統(tǒng)存在識(shí)別精度不高，容易受到對(duì)抗樣本攻擊的安全性問(wèn)題，本發(fā)明提供了一種基于CycleGAN的語(yǔ)音識(shí)別模型的防御方法，該方法可以提高語(yǔ)音識(shí)別模型的識(shí)別精度，并可以使語(yǔ)音識(shí)別模型的能夠抵御對(duì)抗樣本的攻擊，提高語(yǔ)音識(shí)別模型的安全性及魯棒性。

本發(fā)明的技術(shù)方案為：

一種基于CycleGAN的語(yǔ)音識(shí)別模型的防御方法，包括如下步驟：

S1生成用于CycleGAN模型訓(xùn)練的數(shù)據(jù)集，所述的數(shù)據(jù)集包括對(duì)抗樣本數(shù)據(jù)集和正常語(yǔ)音數(shù)據(jù)集，將所述數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；

S2搭建CycleGAN模型，所述的CycleGAN模型由兩組GAN模型以對(duì)偶的形式構(gòu)成；

一組GAN模型將對(duì)抗樣本傳遞給生成器G_A～B濾除噪音，由判別器D_B判別是否為正常語(yǔ)音，然后將濾除噪音后的語(yǔ)音傳遞給生成器G_B～A添加噪音；