[發明專利]一種基于房間脈沖響應的語音后門驗證方法和裝置

在審

• 申請號: 202310533603.7
• 申請日: 2023-05-12
• 公開（公告）號: CN116597811A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 盧立;陳錳;巴鐘杰;林峰;任奎
• 申請（專利權）人: 浙江大學;浙江大學杭州國際科創中心
• 主分類號: G10L15/01
• 分類號: G10L15/01;G10L15/06;G10L15/16;G10L17/04;G10L17/18;G06F21/57;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于房間脈沖響應的語音后門驗證方法，其特征在于，包括以下步驟：

獲取目標語音模型的干凈語音樣本，同時獲得目標語音模型所在物理空間的屬性信息；

根據屬性信息設定聲學參數；

根據聲學參數構建房間脈沖響應的條件向量；

將條件向量與隨機采樣的隱向量拼接后輸入預訓練的房間脈沖響應生成器，合成一批房間脈沖響應信號作為動態觸發器；

使用動態觸發器對干凈語音樣本進行投毒作為毒化語音樣本，利用毒化語音樣本和干凈語音樣本對目標語音模型進行增強訓練，使得目標語音模型受到感染并被注入后門；

將受感染的目標語音模型部署后，在目標語音模型所在物理空間正常說話發出語音以觸發后門，從而驗證目標語音模型的后門脆弱性。

2.根據權利要求1所述的基于房間脈沖響應的語音后門驗證方法，其特征在于，所述物理空間的屬性信息包括房間尺寸、墻面材料。

3.根據權利要求2所述的基于房間脈沖響應的語音后門驗證方法，其特征在于，所述根據屬性信息設定聲學參數，包括：

所述聲學參數包括混響時間，即房間中聲場相對初始值衰減至一定程度所需的時間，當選擇60dB聲壓級時，混響時間RT₆₀具體計算為：

其中，V＝L×W×H為房間體積，S＝2(L×W+L×H+W×H)為房間表面積，c為聲速，α表示房間表面的平均吸聲系數，計算為：

其中，S_i為房間第i個面的面積，I為房間的面總量，α_i為第i個面對應的吸聲系數，該吸聲系數由墻面材料確定。

4.根據權利要求1所述的基于房間脈沖響應的語音后門驗證方法，其特征在于，所述根據聲學參數構建房間脈沖響應的條件向量，包括：

根據房間尺寸(L,W,H)、目標語音模型位置(x_t,y_t,z_t)、說話人位置(x_a,y_a,z_a)、以及作為聲學參數的房間混響時間RT₆₀構造條件向量c，表示為：

c＝[L,W,H,x_a,y_a,z_a,x_t,y_t,z_t,RT₆₀]。

5.根據權利要求1所述的基于房間脈沖響應的語音后門驗證方法，其特征在于，所述房間脈沖響應生成器基于條件變分自編碼器—生成對抗網絡架構訓練得到，具體包括：

所述條件變分自編碼器—生成對抗網絡架構，包括編碼器、生成器以及判別器，其中，編碼器通過學習條件概率分布將真實房間脈沖響應信號映射為隱向量，該隱向量與條件向量拼接后輸入至生成器，生成器通過學習另一條件概率分布重構合成房間脈沖響應信號，判別器對輸入的真實房間脈沖響應信號和合成房間脈沖響應信號進行判別區分；

對所述條件變分自編碼器—生成對抗網絡架構進行對抗訓練，對抗訓練時采用的損失函數包括基于重構損失、KLD損失、對抗損失以及梯度懲罰損失，訓練結束后，參數優化的生成器作為預訓練的房間脈沖響應生成器。

6.根據權利要求5所述的基于房間脈沖響應的語音后門驗證方法，其特征在于，所述損失函數表示為：

表示重構損失，計算為：

表示KLD損失，計算為：

表示對抗損失的一部分，計算為：

表示對抗損失的另一部分，計算為：

表示梯度懲罰損失，計算為：

其中，h表示真實房間脈沖響應信號，h^′表示重構的合成房間脈沖響應信號，表示L2范數的平方，z表示隱向量，p(z|h)表示編碼器學習的條件概率分布，N(z|0,I)表示均值為0、方差為I的標準高斯分布，表示KL散度，表示求期望，D(·)表示判別器輸出的判別結果，表示對中的求導。