[發(fā)明專利]一種基于自適應(yīng)觸發(fā)器的聲紋識(shí)別后門樣本生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211040341.2
• 申請(qǐng)日: 2022-08-29
• 公開（公告）號(hào): CN115424620A
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 徐東偉;房若塵;蔣斌;宣琦
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G10L17/04
• 分類號(hào): G10L17/04;G10L17/18;G10L25/51;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 孫家豐

一種基于自適應(yīng)觸發(fā)器的聲紋識(shí)別后門樣本生成方法，首先確定生成器、判別器、分類網(wǎng)絡(luò)的參數(shù)結(jié)構(gòu)，分類網(wǎng)絡(luò)應(yīng)能以高精度正確預(yù)測(cè)樣本；其次生成器將語音樣本與隨機(jī)噪聲維度拼接，通過編碼?解碼網(wǎng)絡(luò)映射為特定噪聲(觸發(fā)器)，用此噪聲樣本與干凈樣本訓(xùn)練判別器；劃分預(yù)中毒集合，利用預(yù)中毒集合產(chǎn)生的中毒樣本與干凈訓(xùn)練樣本訓(xùn)練中毒的分類網(wǎng)絡(luò)；凍結(jié)判別器與分類網(wǎng)絡(luò)權(quán)重，利用它們的輸出反饋訓(xùn)練生成器，使產(chǎn)生的觸發(fā)器兼有高效性與隱蔽性；最后不斷重復(fù)訓(xùn)練過程直到結(jié)果達(dá)到預(yù)期。本發(fā)明訓(xùn)練好的生成器能根據(jù)樣本自適應(yīng)的產(chǎn)生不同的觸發(fā)器，不僅具有高成功率，還有良好的隱蔽性與魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于自適應(yīng)觸發(fā)器的聲紋識(shí)別后門樣本生成方法，本發(fā)明屬于深度學(xué)習(xí)安全領(lǐng)域。

背景技術(shù)

聲紋識(shí)別作為生物特征識(shí)別的一種，即利用人體所固有的生理特征或行為特征來進(jìn)行個(gè)人身份鑒定的技術(shù)。因聲音采集便捷廉價(jià)，聲紋識(shí)別的算法復(fù)雜度相對(duì)較低且聲音涉及到的隱私較少，被大量應(yīng)用于多個(gè)領(lǐng)域，如在金融領(lǐng)域，應(yīng)用聲紋識(shí)別技術(shù)將辦理人與數(shù)據(jù)庫(kù)進(jìn)行比對(duì)匹配；在公共安全領(lǐng)域，利用通話時(shí)留下的語音數(shù)據(jù)進(jìn)行聲紋識(shí)別；在移動(dòng)支付領(lǐng)域，可以采用動(dòng)態(tài)支付口令結(jié)合聲紋識(shí)別技術(shù)，構(gòu)筑雙重保障，確保支付安全等。

然而最近的研究證明，聲紋識(shí)別模型容易受到中毒攻擊，通過中毒數(shù)據(jù)集訓(xùn)練的中毒模型在干凈的數(shù)據(jù)集上表現(xiàn)正常，但在帶有觸發(fā)器的數(shù)據(jù)集上會(huì)展現(xiàn)特定的錯(cuò)誤。中毒攻擊可分為三類：用戶采用第三方數(shù)據(jù)集；用戶采用第三方平臺(tái)；用戶直接采用第三方模型。現(xiàn)有的中毒攻擊大部分是第一種情況，用戶在不知情的情況下使用網(wǎng)上的中毒數(shù)據(jù)集訓(xùn)練自己的模型，然而這種攻擊存在缺陷，攻擊者在不知道模型架構(gòu)的情況下中毒數(shù)據(jù)集，設(shè)置的中毒觸發(fā)器都是固定且單一的，這種觸發(fā)器與樣本的特征有較大的差異從而導(dǎo)致了效果差或者容易被察覺。因此，怎樣設(shè)置具有高隱蔽性的觸發(fā)器至關(guān)重要。

發(fā)明內(nèi)容

本發(fā)明要克服現(xiàn)有技術(shù)的上述缺點(diǎn)，提供一種基于自適應(yīng)觸發(fā)器的聲紋識(shí)別后門樣本生成方法。本發(fā)明利用生成器網(wǎng)絡(luò)，判別器網(wǎng)絡(luò)與分類模型聯(lián)合訓(xùn)練，在不降低模型精度的情況下有效的中毒模型，生成器會(huì)基于樣本的特征產(chǎn)生不同的觸發(fā)器，具有更好的隱蔽性。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：根據(jù)語音信號(hào)的特征搭建生成器網(wǎng)絡(luò)、判別器網(wǎng)絡(luò)以及分類模型的結(jié)構(gòu)，生成器網(wǎng)絡(luò)將樣本與采樣的隨機(jī)噪聲映射為自適應(yīng)觸發(fā)器，判別器用來區(qū)分加入觸發(fā)器的樣本與原樣本的區(qū)別從而限制觸發(fā)器的大小，分類網(wǎng)絡(luò)在加入自適應(yīng)觸發(fā)器的數(shù)據(jù)集上進(jìn)行中毒訓(xùn)練，最后訓(xùn)練好的生成器能產(chǎn)生更隱蔽的觸發(fā)器且有效的欺騙模型。

一種基于自適應(yīng)觸發(fā)器的聲紋識(shí)別后門樣本生成方法，含有以下步驟：

步驟1：根據(jù)語音信號(hào)搭建生成器模型、判別器模型與分類網(wǎng)絡(luò)；

步驟2：訓(xùn)練判別器的權(quán)重；

步驟3：訓(xùn)練分類網(wǎng)絡(luò)的權(quán)重；

步驟4：利用聯(lián)合網(wǎng)絡(luò)，凍結(jié)判別器與分類網(wǎng)絡(luò)，訓(xùn)練生成器的權(quán)重；

步驟5：不斷重復(fù)步驟2～4，保存期望的分類網(wǎng)絡(luò)、生成器的結(jié)構(gòu)與權(quán)重；

步驟6：測(cè)試分類網(wǎng)絡(luò)的測(cè)試精度與攻擊成功率。

進(jìn)一步，步驟1具體包括：搭建生成器模型G的結(jié)構(gòu)、搭建判別器模型D 的結(jié)構(gòu)，指定分類模型F的結(jié)構(gòu)與參數(shù)且不在變化。本發(fā)明直接對(duì)語音原始波形進(jìn)行分類，因此生成器、判別器與分類模型均采用1DCNN形式，分類網(wǎng)絡(luò)與判別器的結(jié)構(gòu)包含1D卷積層、1D最大池化層、全連接層與批歸一化層：其參數(shù)主要有卷積層的數(shù)量和大小，池化層的步長(zhǎng)與尺寸、批歸一化層的數(shù)量。生成器結(jié)構(gòu)包含1D卷積層、1D最大池化層、1D上采樣層：其參數(shù)主要有卷積層數(shù)量與大小、池化層與上采樣層的尺寸。分類任務(wù)的數(shù)據(jù)集需預(yù)先給定，根據(jù)采樣率提取其波形特征。