[發明專利]一種基于深度卷積生成對抗網絡的音頻關鍵詞識別方法

有效

• 申請號: 202010425087.2
• 申請日: 2020-05-19
• 公開（公告）號: CN111724770B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 白楊;李全兵;詹茂豪;徐海森
• 申請（專利權）人: 中國電子科技網絡信息安全有限公司
• 主分類號: G10L15/08
• 分類號: G10L15/08;G10L15/26;G10L25/18;G10L25/24;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 錢成岑

本發明公開了一種基于深度卷積生成對抗網絡的音頻關鍵詞識別方法，其特征在于，包括如下步驟：步驟1，構建基于深度卷積生成對抗網絡的音頻關鍵詞識別模型；步驟2，訓練基于深度卷積生成對抗網絡的音頻關鍵詞識別模型；步驟3，利用訓練好的基于深度卷積生成對抗網絡的音頻關鍵詞識別模型進行音頻關鍵詞識別。本發明能夠處理連續音頻，并且不需要將音頻轉錄為文本，而是直接對音頻進行分析實現音頻識別關鍵詞。

技術領域

本發明涉及音頻識別技術領域，尤其是一種基于深度卷積生成對抗網絡的音頻關鍵詞識別方法。

背景技術

隨著音頻識別技術的不斷成熟，出現了非常多的應用場景，如：手機地圖音頻導航、智能家具音頻控制、蘋果公司的音頻助手應用等場景。隨著信息的公開以及傳播，音頻敏感數據的泄露會給社會、商業公司、以及用戶造成較大的經濟損失或者其他危害。由于，要獲知當前音頻中是否存在敏感信息，才能決定怎樣對當前音頻數據進行安全保護，因此，如何實現高效精準的音頻關鍵詞識別成為了研究要點。

傳統的音頻關鍵詞識別方式如：基于模板匹配的關鍵詞識別方法，由于其計算復雜度高、恰當的相似性閾值難以確定，導致其在連續音頻流中識別準確率不高，適用于低資源與小任務量的音頻關鍵詞識別場景。基于隱馬爾科夫模型的關鍵詞識別方法準確率受語料庫規模影響，需要大量帶有標簽數據來訓練模型以達到對模型的準確度要求，這種方法復用性差，如果要識別新的關鍵詞，則需要重新訓練模型?；诖笤~匯量連續音頻的關鍵詞識別方法不需要預定義詞匯表，但需要將音頻信號全部轉錄為文本，再對文本進行關鍵詞識別，它需要依賴音頻轉換器的準確率，且該方法也需要大量帶標注的音頻數據作為訓練集。

隨著深度學習在圖像和音頻識別領域的使用，深度神經網絡也被應用到關鍵詞識別。如：循環神經網絡、卷積神經網絡和卷積循環神經網絡等都被使用到音頻關鍵詞識別當中。但這些機器學習方法主要采用將音頻信息轉換為文本信息，然后再使用循環神經網絡，長短期記憶神經網絡等技術，對其進行文本分析和自然語言處理，最后進行關鍵詞識別。

綜上，已有的方法存在以下問題：

1.現有的音頻關鍵詞識別方法在面對連續音頻輸入時，識別準確率不高；

2.現有的音頻關鍵詞識別方法對語料庫的依賴大，往往需要大量帶有標簽數據來訓練模型以達到對模型的準確度要求，導致方法復用性差；

3.現有方法需要將音頻信號全部轉錄為文本，再對文本進行關鍵詞識別，因此需要依賴音頻文字轉換器的準確率，且過程復雜度高。

因此，需要一種適用于連續音頻場景下的，具有較高復用性且不需要依賴音頻文字轉換器準確率的音頻關鍵詞識別方法，來解決上述問題。

發明內容

本發明所要解決的技術問題是：針對上述存在的問題，提供一種基于深度卷積生成對抗網絡的音頻關鍵詞識別方法，以實現在不需要將連續音頻轉錄為文本的條件下，進行音頻關鍵詞的精準識別。

本發明采用的技術方案為：一種基于深度卷積生成對抗網絡的音頻關鍵詞識別方法，包括如下步驟：

步驟1，構建基于深度卷積生成對抗網絡的音頻關鍵詞識別模型；

步驟2，訓練基于深度卷積生成對抗網絡的音頻關鍵詞識別模型；

步驟3，利用訓練好的基于深度卷積生成對抗網絡的音頻關鍵詞識別模型進行音頻關鍵詞識別。

進一步地，步驟1中構建的基于深度卷積生成對抗網絡的音頻關鍵詞識別模型包括生成器和判別器；

(1)所述生成器包括擴展路徑、收縮路徑、以及3個零散卷積層；當輸入音頻特征到生成器中時：依次經過擴展路徑，2個卷積核為3×3、激活函數為ReLU的卷積層，收縮路徑，以及1個卷積核為1×1的卷積層后，輸出音頻關鍵詞定位標簽序列；其中，