[發明專利]基于分區擾動的聲學對抗樣本生成方法

在審

• 申請號: 202210092888.0
• 申請日: 2022-01-26
• 公開（公告）號: CN114580462A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 張強;楊吉斌;張雄偉;曹鐵勇;張睿;孫蒙;鄒霞;李毅豪;張星昱;陳樂樂;王楊;梅鵬程;范君怡;張玥;陳軍
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 朱遠楓

本發明提供了一種基于分區擾動的聲學對抗樣本生成方法，基于音頻信號的時頻分布特性，在音頻的幅度譜圖上，依據分區方案，劃分關鍵區域和非關鍵區域；在不同的區域設置不同的擾動約束，利用對抗樣本生成方法分區域生成擾動，與原始幅度譜疊加得到對抗樣本幅度譜。分區生成擾動時，減弱關鍵區域的擾動約束以增強關鍵區域的擾動能量，增強非關鍵區域的擾動約束以減弱非關鍵區域的擾動能量，生成的對抗樣本具有與原始樣本更相似的時頻分布特性，可以實現以更小的擾動總能量取得更高的攻擊成功率。

技術領域

本發明涉及對抗樣本生成領域，尤其涉及一種基于分區擾動的聲學對抗樣本生成方法。

背景技術

研究對抗樣本攻擊有助于了解深度學習模型的脆弱性和探索如何防御攻擊，因此研究聲學對抗樣本攻擊對探索如何提高聲學場景分類模型的對抗樣本魯棒性非常重要。基于深度學習的對抗樣本攻擊技術在攻擊聲學場景分類模型時已取得了較好的效果，但典型的對抗樣本攻擊技術在樣本全局以統一的標準生成對抗樣本，在追求高攻擊成功率的情況下，存在聲學信號對抗樣本中的對抗性擾動容易被感知的問題。

為了更好地提升對抗樣本的不可感知性，已有許多減小擾動區域的優化方案。基于限制區域的梯度迭代的攻擊方法，首先使用目標檢測方法來限制攻擊目標區域，然后利用基于梯度的迭代攻擊方法在該區域添加擾動。基于限制區域的逃逸攻擊方法，使用擾動限制器來控制被攻擊區域的位置、大小和形狀，通過聯合訓練transformer和被攻擊的分類器優化擾動，最終在目標的背景或邊界增加擾動。惡意補丁和和添加附件的方法，通過替換原始樣本中的一部分物體來生成對抗樣本。單像素攻擊的方法，通過使用差分進化算法只改變較小數量的像素實現成功攻擊。

但是這些方法有兩個缺點：一方面，需要一個復雜的預處理步驟來確定擾動區域，這不僅增加了時間成本，而且對對抗樣本的性能也有很大影響。另一方面，為了保持較高的攻擊成功率，限制區域的擾動約束閾值較大，會產生能量較大的對抗性擾動，對抗樣本的不可感知性并不理想。

發明內容

本發明針對現有技術存在的以上不足，提供基于分區擾動的聲學對抗樣本生成方法，解決目前聲學場景分類中的對抗樣本生成方法不能依據聲音信號的時頻分布特性分區設置擾動約束生成不可感知的對抗性擾動的技術問題。

本發明采用以下技術方案。

一方面，本發明提供基于分區擾動的聲學對抗樣本生成方法，包括：利用傅立葉變換將原始樣本波形轉換為幅度譜；

在所述幅度譜上，依據聲音信號的時頻分布特性，采用分區方案進行分區，獲得分區結果；

根據所述分區結果，生成分區掩碼矩陣；

以所述幅度譜和分區掩碼矩陣作為輸入，利用對抗樣本生成方法生成基于分區擾動的對抗樣本幅度譜。

所述方法還包括：利用傅立葉變換將原始樣本波形轉換為相位譜；利用逆傅立葉變換將所述原始樣本相位譜和對抗樣本幅度譜轉換成基于分區擾動的對抗樣本波形。

進一步地，所述分區方案包括：

幅度值大于u·max的區域為幅度譜的關鍵區域，其他區域為幅度譜的非關鍵區域。其中，max為原始樣本幅度譜的最大幅度值，u為分區閾值，u∈[0,1]。

進一步地，所述分區方案包括：

利用目標檢測算法檢測目標聲音在幅度譜上的區域，定義其為幅度譜的關鍵區域，其他區域為幅度譜的非關鍵區域。

進一步地，所述分區方案包括：

利用顯著性檢測算法檢測出幅度譜上的顯著區域，并定義其為幅度譜的關鍵區域，其他區域為幅度譜的非關鍵區域。

進一步地，根據所述分區結果生成分區掩碼矩陣的方法包括：