[發明專利]基于跨領域自適應的深度偽造語音檢測方法

在審

• 申請號: 202211533985.5
• 申請日: 2022-12-01
• 公開（公告）號: CN116153331A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 巴鐘杰;溫晴;程鵬;王宇煒;林峰;盧立;劉振廣;任奎
• 申請（專利權）人: 浙江大學嘉興研究院
• 主分類號: G10L25/48
• 分類號: G10L25/48;G10L25/30;G10L25/03
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于跨領域自適應的深度偽造語音檢測方法及裝置，涉及語音檢測技術領域。該方法包括：獲取跨語種音頻數據集；從跨語種音頻數據集隨機抽取的包含源語種及目標語種真偽音頻數據的N個音頻數據輸入至特征提取器進行音頻特征提取；將音頻特征分別輸入至真偽分類器、語種分類器、差異測量器，計算得到真偽分類損失參數、語種分類損失參數和語種間特征差異損失參數；根據真偽分類損失參數、語種分類損失參數和語種間特征差異損失參數，以減小總損失為優化目標，采用優化算法對神經網絡模型進行參數優化及更新；重復上述步驟得到深度偽造語音檢測模型，通過該深度偽造語音檢測模型可實現對不同語種待測音頻數據真偽的精確識別。

技術領域

本發明涉及語音檢測技術領域，特別涉及一種基于跨領域自適應的深度偽造語音檢測方法。

背景技術

深度偽造指的是包含視頻偽造、音頻偽造和文本偽造等多模態的欺騙技術。隨著深度學習技術的迅速發展，深度偽造的“低門檻、高效率、高質量”的特性使之在日常生活中被廣泛使用，如影視劇后期換臉換聲、智能客服的語音回復等。然而，深度偽造技術的落地和應用也伴生著嚴重的技術濫用問題。其隱患集中在針對目標人的視頻和音頻合成，從而盜用他人身份以假亂真。偽造音視頻可被濫用至抹黑公眾人物、金融詐騙甚至干擾軍事指揮等一系列惡意行為中。

由于深度偽造技術潛在的威脅，國內外對其都非常重視和警惕。在語音深偽檢測領域，目前的檢測手段主要是通過構建深度神經網絡以尋找偽造算法遺留在音頻中的偽造痕跡來進行鑒別，這些偽造檢測模型通常需要大量的真偽數據以進行監督式訓練。

在語音檢測領域，相關技術提供了大量具有一定泛化性的語音真偽檢測模型來應對未知語種音頻的偽造攻擊。然而，這些語音真偽檢測模型在訓練階段所采用訓練數據語種為單一的語種，比如英語語種等，導致其檢測效力僅僅局限于特定的源語種領域，而忽視了語音檢測領域特有的跨語種檢測問題。當語音真偽檢測模型接收到非源語種領域的目標語種偽造音頻時，仍采用針對源語種音頻的真偽識別方法進行識別，容易導致對目標偽造音頻的判斷誤差較大。

現存深度偽造檢測模型的訓練所依賴的檢測專用數據集均為通用性較大的源語種數據集，而在非源語種領域，偽造語音數據樣本較為稀缺，并且還存在數據質量差，偽造算法種類少，偽造算法訓練數據標注難等諸多問題，導致有限的音頻數據資源不足以支撐深度偽造檢測模型在非源語種領域的訓練。

發明內容

針對現有技術存在的上述問題，本發明提供了一種基于跨領域自適應的深度偽造語音檢測方法，基于跨領域自適應技術監督檢測模型學習與語種無關的偽造痕跡，利用豐富的源語種偽造音頻數據和有限的目標語種音頻數據構建深度偽造語音檢測模型，可提供針對非源語種音頻數據真偽識別的深度偽造語音檢測模型構建方案，提高深度偽造語音檢測模型對不同語種音頻真偽的識別精度。

根據本發明實施例的一個方面，提供一種基于跨領域自適應的深度偽造語音檢測方法，所述方法包括：

S1：獲取跨語種音頻數據集，所述跨語種音頻數據集包括源語種對應的第一偽造音頻數據及第一真實音頻數據，和目標語種對應的第二偽造音頻數據及第二真實音頻數據；

S2：從所述跨語種音頻數據集隨機抽取的N個音頻數據輸入至神經網絡模型的特征提取器進行音頻特征提取，得到N個音頻特征，N為正整數，所述N個音頻數據包括至少一個第一偽造音頻數據、至少一個第一真實音頻數據、至少一個第二偽造音頻數據和至少一個第二真實音頻數據；

S3：將所述N個音頻特征輸入至所述神經網絡模型的真偽分類器分別進行真偽類別的確定，并計算得到真偽分類損失參數，所述真偽分類損失參數用于表示所述真偽分類器預測所得真偽類別與實際真偽標簽之間的差異；

S4：根據所述N個音頻特征，采用跨領域自適應方法計算得到源語種與目標語種間的語種領域損失參數，所述語種領域損失參數用于表示源語種與目標語種間的特征差異；