[發(fā)明專利]一種基于房間脈沖響應(yīng)的語音后門驗(yàn)證方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310533603.7
• 申請(qǐng)日: 2023-05-12
• 公開（公告）號(hào): CN116597811A
• 公開（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 盧立;陳錳;巴鐘杰;林峰;任奎
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué);浙江大學(xué)杭州國(guó)際科創(chuàng)中心
• 主分類號(hào): G10L15/01
• 分類號(hào): G10L15/01;G10L15/06;G10L15/16;G10L17/04;G10L17/18;G06F21/57;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

本發(fā)明公開了一種基于房間脈沖響應(yīng)的語音后門驗(yàn)證方法，包括：獲取目標(biāo)語音模型的干凈語音樣本和其所在物理空間的屬性信息；根據(jù)屬性信息設(shè)定聲學(xué)參數(shù)，并根據(jù)聲學(xué)參數(shù)構(gòu)建房間脈沖響應(yīng)的條件向量；將條件向量與隨機(jī)采樣的隱向量拼接后輸入房間脈沖響應(yīng)生成器，合成房間脈沖響應(yīng)信號(hào)作為動(dòng)態(tài)觸發(fā)器；使用動(dòng)態(tài)觸發(fā)器對(duì)干凈語音樣本進(jìn)行投毒作為毒化語音樣本，利用毒化語音樣本和干凈語音樣本對(duì)目標(biāo)語音模型進(jìn)行訓(xùn)練，使得目標(biāo)語音模型被受到感染并被注入后門；將受感染的目標(biāo)語音模型部署后，正常說話發(fā)出語音以觸發(fā)后門，從而驗(yàn)證目標(biāo)語音模型的后門脆弱性，該方法有效提升語音后門的隱蔽性和魯棒性，從而提供真實(shí)可靠的后門攻擊測(cè)試。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)人工智能安全領(lǐng)域，具體涉及一種基于房間脈沖響應(yīng)的語音后門驗(yàn)證方法和裝置。

背景技術(shù)

近年來，深度學(xué)習(xí)技術(shù)為現(xiàn)代語音系統(tǒng)(如語音內(nèi)容識(shí)別和身份辨認(rèn))賦予了強(qiáng)大的認(rèn)知能力。然而，最新的研究揭示了現(xiàn)代語音系統(tǒng)對(duì)訓(xùn)練數(shù)據(jù)的高度依賴會(huì)導(dǎo)致嚴(yán)重的后門安全威脅。這類后門攻擊依賴精心設(shè)計(jì)的觸發(fā)器，僅需污染少量訓(xùn)練數(shù)據(jù)即可建立與目標(biāo)輸出強(qiáng)烈的虛假關(guān)聯(lián)，從而誤導(dǎo)系統(tǒng)輸出錯(cuò)誤的結(jié)果。該攻擊并不影響系統(tǒng)的正常使用，因此具有較強(qiáng)的隱蔽性，嚴(yán)重威脅著人工智能系統(tǒng)安全。

為評(píng)估和改善語音系統(tǒng)的安全性和魯棒性，需要進(jìn)行前置性的后門脆弱性測(cè)試。然而，現(xiàn)有的后門攻擊測(cè)試研究?jī)H在數(shù)字空間驗(yàn)證了語音后門學(xué)習(xí)的可行性，即通過在時(shí)域和頻域設(shè)計(jì)不同的觸發(fā)器(如單頻音、超聲波、背景音以及對(duì)抗樣本等)來向語音命令識(shí)別或語音身份識(shí)別系統(tǒng)植入后門。這些研究假設(shè)觸發(fā)器經(jīng)過網(wǎng)絡(luò)傳輸后直接注入到目標(biāo)語音系統(tǒng)中而沒有任何失真，極大偏離了真實(shí)的攻擊測(cè)試環(huán)境。此外，現(xiàn)有的數(shù)字域觸發(fā)器隱蔽性差且不能抵抗信道干擾，導(dǎo)致后門攻擊測(cè)試能力不足。

因此，如何提升物理空間中語音后門的隱蔽性和魯棒性，從而提供真實(shí)可靠的攻擊測(cè)試方案是當(dāng)前需要解決的問題。

公開號(hào)為CN114462031A的專利申請(qǐng)公開了一種后門攻擊方法，包括獲取目標(biāo)模型的原始樣本數(shù)據(jù)；從原始樣本數(shù)據(jù)中選取類別標(biāo)簽為目標(biāo)類別的目標(biāo)樣本數(shù)據(jù)作為投毒數(shù)據(jù)，并對(duì)目標(biāo)樣本數(shù)據(jù)中的原始文本設(shè)置觸發(fā)器，獲得投毒數(shù)據(jù)；將原始樣本數(shù)據(jù)與投毒數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)對(duì)目標(biāo)模型進(jìn)行訓(xùn)練，獲得測(cè)試模型；其中，測(cè)試模型用于對(duì)設(shè)置有觸發(fā)器的測(cè)試數(shù)據(jù)進(jìn)行攻擊測(cè)試。

公開號(hào)為CN113946687A的專利文獻(xiàn)公開了一種標(biāo)簽一致的文本后門攻擊方法，包括：針對(duì)目標(biāo)數(shù)據(jù)集，通過義原庫生成觸發(fā)詞；利用對(duì)抗擾動(dòng)的方法和基于黑盒條件的隱藏關(guān)鍵字方法擾動(dòng)原始輸入樣本；通過基于義原的觸發(fā)詞替換方法，將生成的觸發(fā)詞添加到擾動(dòng)后的句子中生成中毒樣本，并用中毒數(shù)據(jù)集訓(xùn)練目標(biāo)模型；推理階段通過義原替換的方法將觸發(fā)詞添加到測(cè)試句子上，從而誘騙目標(biāo)模型預(yù)測(cè)目標(biāo)類別。本發(fā)明設(shè)

將以上兩個(gè)專利文獻(xiàn)記載的技術(shù)方案應(yīng)用到語音識(shí)別系統(tǒng)時(shí)，由于觸發(fā)器沒有任何失真，極大偏離了真實(shí)的攻擊測(cè)試環(huán)境，導(dǎo)致后門攻擊測(cè)試能力不足。

發(fā)明內(nèi)容

鑒于上述，本發(fā)明的目的是提供一種基于房間脈沖響應(yīng)的語音后門驗(yàn)證方法和裝置，實(shí)現(xiàn)了物理空間中語音后門的植入與激活，有效提升語音后門的隱蔽性和魯棒性，從而提供真實(shí)可靠的后門攻擊測(cè)試。

為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例提供的一種基于房間脈沖響應(yīng)的語音后門驗(yàn)證方法，包括以下步驟：

獲取目標(biāo)語音模型的干凈語音樣本，同時(shí)獲得目標(biāo)語音模型所在物理空間的屬性信息；

根據(jù)屬性信息設(shè)定聲學(xué)參數(shù)；

根據(jù)聲學(xué)參數(shù)構(gòu)建房間脈沖響應(yīng)的條件向量；

將條件向量與隨機(jī)采樣的隱向量拼接后輸入預(yù)訓(xùn)練的房間脈沖響應(yīng)生成器，合成一批房間脈沖響應(yīng)信號(hào)作為動(dòng)態(tài)觸發(fā)器；

使用動(dòng)態(tài)觸發(fā)器對(duì)干凈語音樣本進(jìn)行投毒作為毒化語音樣本，利用毒化語音樣本和干凈語音樣本對(duì)目標(biāo)語音模型進(jìn)行增強(qiáng)訓(xùn)練，使得目標(biāo)語音模型受到感染并被注入后門；