[發明專利]頻譜掩碼模型訓練方法、音頻場景識別方法及系統

有效

• 申請號: 201911257776.0
• 申請日: 2019-12-10
• 公開（公告）號: CN111028861B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 俞凱;吳夢玥;徐薛楠;丁翰林
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/30;G10L21/0208;G10L21/028;G10L21/0232
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發明公開一種頻譜掩碼模型訓練方法，包括：基于場景音頻樣本集和語音音頻樣本集生成混合音頻樣本集；從所述混合音頻樣本集中獲取混合音頻樣本輸入至待訓練頻譜掩碼模型，以得到相應于所述混合音頻樣本中所包含的場景音頻的掩碼；將所述掩碼與所述混合音頻樣本的混合頻譜相乘，以將所述混合頻譜中對應于語音音頻的頻譜過濾掉；獲取用于生成所述混合音頻樣本的場景音頻樣本的頻譜；通過最小化經過過濾后的所述混合頻譜與所述場景音頻樣本的頻譜之間的差異來訓練所述待訓練頻譜掩碼模型。本申請實施例實現了一種頻譜圖掩蔽框架，以過濾掉混合音頻中所包含的語音，并顯著提高了伴隨語音的場景數據的分類性能。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種頻譜掩碼模型訓練方法、音頻場景識別方法及系統。

背景技術

過去的聲學場景分類(音頻場景分類)研究主要集中在包含環境聲音的音頻數據上。但是，在現實世界的場景中，語音可能會出現在任何聲學場景中。發明人進行的初步實驗表明，場景分類的準確率在有語音的情形下顯著地下降。這種富含語音的情形給音頻場景分類以及其他更廣闊的音頻處理領域帶來了新的挑戰：如何使環境特征更容易識別。

在過去的幾年中，音頻研究已經成為一個有趣的領域，因為環境聲音提供的豐富信息可以幫助完善機器的感知能力。但是，大多數音頻場景分類研究都是在干凈的環境數據上進行的，而在現實世界中，大多數場景都伴隨著語音(占主導地位的信號源)。

谷歌最新發布的Android 10有Live Caption技術(即時字幕功能，即播放視頻的時候同時輸出描述這段視頻音頻的一個句子)，Live Caption在播放視頻的時候自動生成一句描述這一段視頻的句子，純音頻分類技術通過輸入音頻的特征判斷音頻的背景屬于哪個場景。

Live Caption并沒有顯式地給出音頻的背景場景信息，有時給出的描述不夠準確，純音頻分類技術對于帶有清晰語音的音頻分類效果并不好。

發明人在實現本發明的過程中發現，為解決以上問題本領域技術人員通常會增加更多的訓練數據，在帶有語音的數據上進行訓練。

發明內容

本發明實施例提供一種頻譜掩碼模型訓練方法、音頻場景識別方法及系統，用于至少解決上述技術問題之一。

第一方面，本發明實施例提供一種頻譜掩碼模型訓練方法，包括：

基于場景音頻樣本集和語音音頻樣本集生成混合音頻樣本集；

從所述混合音頻樣本集中獲取混合音頻樣本輸入至待訓練頻譜掩碼模型，以得到相應于所述混合音頻樣本中所包含的場景音頻的掩碼；

將所述掩碼與所述混合音頻樣本的混合頻譜相乘，以將所述混合頻譜中對應于語音音頻的頻譜過濾掉；

獲取用于生成所述混合音頻樣本的場景音頻樣本的頻譜；

通過最小化經過過濾后的所述混合頻譜與所述場景音頻樣本的頻譜之間的差異來訓練所述待訓練頻譜掩碼模型。

在一些實施例中，所述待訓練頻譜掩碼模型包括：順序連接的輸入層、多個GLU掩碼塊、線性層和輸出層。

在一些實施例中，所述多個GLU掩碼塊中的每一個GLU掩碼塊分別包括：順序連接的卷積層，批處理歸一化層和作為激活函數的門控線性單元。

在一些實施例中，基于場景音頻樣本集和語音音頻樣本集生成混合音頻樣本集包括：

基于場景音頻樣本集和語音音頻樣本集按照多種設定信噪比生成混合音頻樣本集。

在一些實施例中，通過最小化經過過濾后的所述混合頻譜與所述場景音頻樣本的頻譜之間的差異來訓練所述待訓練頻譜掩碼模型包括：

最小化以下損失方程以訓練所述待訓練頻譜掩碼模型：