[發明專利]一種基于對抗樣本的語音隱寫方法

有效

• 申請號: 202110446800.6
• 申請日: 2021-04-25
• 公開（公告）號: CN113205821B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 顧釗銓;譚昊;劉宸瑋;呂吟玉;王樂;田志宏;方濱興;韓偉紅;仇晶;唐可可;李默涵;李樹棟
• 申請（專利權）人: 廣州大學
• 主分類號: G10L19/018
• 分類號: G10L19/018;G10L15/22
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 雷芬芬

本發明公開了一種基于對抗樣本的語音隱寫方法，包括：將噪聲δ經編解碼器Aa添加到音頻X上，生成滿足最小化目標函數的音頻樣本X’，其中，音頻X包含內容文本為T，音頻樣本X’包含需要加密傳輸的信息S。本發明將所生成的音頻對抗樣本用于語音隱寫領域，具有較高的保密性、隱蔽性、安全性。在通常情況下，第三方無法輕易察覺到加密音頻樣本存在異?；螂[寫信息；即便第三方認為該音頻樣本存在隱寫信息，在保障編解碼器模型Aa不被竊取的前提下，第三方無法獲得其中所隱藏的信息。

技術領域

本發明涉及語音識別、深度學習、信息安全技術領域，具體涉及一種基于對抗樣本的語音隱寫方法。

背景技術

隨著機器學習和深度學習技術的快速發展，自然語言處理技術的應用場景越來越廣泛，例如機器翻譯、智能客服、情感分析、語音識別等，日常生活中的各個地方都存在著自然語言處理技術的應用。

目前自然語言處理技術的許多發明理論被廣泛應用于語音識別領域，最廣泛使用的技術包括基于長短時記憶網絡(Long?Short-Term?Memory，LSTM)和連接時序分類(Connectionist?Temporal?Classification，CTC)的語音識別發明、基于自注意力機制(Transformer)的語音識別發明，可以較為準確地識別出說話者想表達的內容，例如電信運營商智能客服等。目前基于神經網絡的語音識別技術已經廣泛應用于智能音箱、智能語音助手、車載語音等諸多場景中，語音識別技術的出現客觀上解放了人們的雙手與眼睛，僅需通過開口說話就可以與機器進行交互，方便了人們的生活。

但是，近年來的一些研究表明，神經網絡等人工智能技術存在一定的安全隱患，引起了人們的擔憂。例如在圖像領域中，卷積神經網絡具有脆弱性，攻擊者通過添加人眼難以察覺的微小擾動構造對抗樣本，對抗樣本和原始圖像相似性高，人眼難以察覺異常，但使用卷積神經網絡識別該對抗樣本時，神經網絡將以很大的概率將對抗樣本識別錯，從而產生錯誤的預測。

此外，許多研究也表明語音識別技術也存在類似的情況。CarliniWagner等人通過向音頻中添加微小的噪聲，生成的對抗音頻不僅讓人耳無法察覺到噪聲，還能使語音識別系統錯誤的識別出指定的文本序列。最近學術界提出的一種Commander?Song能夠將控制命令隱藏在音樂中，并對Google的語音識別系統進行攻擊。另一方面，Shreya?Khare等人指出在完全不知道系統內部結構的場景下，一種多目標進化優化的對抗樣本生成技術也能夠對智能語音識別系統構成威脅。這些針對語音識別系統不同的攻擊場景均揭示出現代智能語音識別系統的脆弱性。

研究針對語音識別系統等神經網絡的攻擊具有積極的意義。一方面通過生成對抗樣本，可以去評測現有的語音識別系統的穩定性和魯棒性；另一方面，通過巧妙地利用音頻對抗樣本自身的特殊性質可以實現隱蔽通信、通信安全等目的。因此，通過研究對語音識別系統生成音頻對抗樣本的發明，并論證音頻對抗樣本用于語音隱寫領域的安全性和隱秘性，為語音隱寫提供一種新的思路和發明。目前主流的語音隱寫發明包括：將信息加密壓縮到音頻比特流中的發明(例如使用MP3stego等工具)、將信息隱藏在頻譜圖中等。主要技術都是基于傳統密碼學與信息學的發明，未考慮到利用現代智能語音識別系統的脆弱性實現語音隱寫。

發明內容

本發明的目的是為了克服以上現有技術存在的不足，提供了一種具有隱蔽性、保密性和實用性的基于對抗樣本的語音隱寫方法。

本發明的目的通過以下的技術方案實現：

一種基于對抗樣本的語音隱寫方法，其特征在于：利用生成對抗樣本的方法將噪聲δ經編解碼器Aa添加到音頻X上，生成滿足最小化目標函數的音頻樣本X′，其中，音頻X包含內容文本為T，音頻樣本X′包含需要加密傳輸的信息S。優選地，我們設置目標函數為dB_X(δ)+c·l(X+δ，S)+d·g(X+δ，T)，然后對其進行最小化。