[發明專利]頻譜掩碼模型訓練方法、音頻場景識別方法及系統

有效

• 申請號: 201911257776.0
• 申請日: 2019-12-10
• 公開（公告）號: CN111028861B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 俞凱;吳夢玥;徐薛楠;丁翰林
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/30;G10L21/0208;G10L21/028;G10L21/0232
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種頻譜掩碼模型訓練方法，包括：

基于場景音頻樣本集和語音音頻樣本集生成混合音頻樣本集；

從所述混合音頻樣本集中獲取混合音頻樣本輸入至待訓練頻譜掩碼模型，以得到相應于所述混合音頻樣本中所包含的場景音頻的掩碼；

將所述掩碼與所述混合音頻樣本的混合頻譜相乘，以將所述混合頻譜中對應于語音音頻的頻譜過濾掉；

獲取用于生成所述混合音頻樣本的場景音頻樣本的頻譜；

通過最小化經過過濾后的所述混合頻譜與所述場景音頻樣本的頻譜之間的差異來訓練所述待訓練頻譜掩碼模型。

2.根據權利要求1所述的方法，其中，所述待訓練頻譜掩碼模型包括：順序連接的輸入層、多個GLU掩碼塊、線性層和輸出層。

3.根據權利要求2所述的方法，其中，所述多個GLU掩碼塊中的每一個GLU掩碼塊分別包括：順序連接的卷積層，批處理歸一化層和作為激活函數的門控線性單元。

4.根據權利要求1所述的方法，其中，基于場景音頻樣本集和語音音頻樣本集生成混合音頻樣本集包括：

基于場景音頻樣本集和語音音頻樣本集按照多種設定信噪比生成混合音頻樣本集。

5.根據權利要求1所述的方法，其中，通過最小化經過過濾后的所述混合頻譜與所述場景音頻樣本的頻譜之間的差異來訓練所述待訓練頻譜掩碼模型包括：

最小化以下損失方程以訓練所述待訓練頻譜掩碼模型：

其中，S_scene為所述場景音頻樣本的頻譜，為經過過濾后的所述混合頻譜。

6.一種音頻場景識別方法，包括：

將待識別音頻數據輸入至采用權利要求1-5中任一項所述的方法所得到的頻譜掩碼模型，以濾除所述待識別音頻數據中所包含的語音音頻數據，所述待識別音頻數據中包含語音音頻數據和場景音頻數據；

采用預先訓練好的音頻場景分類模型對所述頻譜掩碼模型的輸出數據進行處理，以確定所述待識別音頻數據所對應的音頻場景。

7.一種音頻場景識別系統，包括：采用權利要求1-5中任一項所述的方法所得到的頻譜掩碼模型和預先訓練好的音頻場景分類模型；其中，

所述頻譜掩碼模型，用于濾除待識別音頻數據中所包含的語音音頻數據，所述待識別音頻數據中包含語音音頻數據和場景音頻數據；

所述預先訓練好的音頻場景分類模型，用于對所述頻譜掩碼模型的輸出數據進行處理，以確定所述待識別音頻數據所對應的音頻場景。

8.一種頻譜掩碼模型訓練系統，包括：

樣本生成模塊，用于基于場景音頻樣本集和語音音頻樣本集生成混合音頻樣本集；

待訓練頻譜掩碼模型，用于接收從所述混合音頻樣本集中獲取混合音頻樣本，以得到相應于所述混合音頻樣本中所包含的場景音頻的掩碼；

過濾模塊，用于將所述掩碼與所述混合音頻樣本的混合頻譜相乘，以將所述混合頻譜中對應于語音音頻的頻譜過濾掉；

頻譜數據獲取模塊，用于獲取用于生成所述混合音頻樣本的場景音頻樣本的頻譜；

訓練模塊，用于通過最小化經過過濾后的所述混合頻譜與所述場景音頻樣本的頻譜之間的差異來訓練所述待訓練頻譜掩碼模型。

9.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-6中任意一項所述方法的步驟。

10.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-6中任意一項所述方法的步驟。