[發明專利]基于生成對抗網絡的頻帶擴展方法、編解碼方法及系統

有效

• 申請號: 202210322549.7
• 申請日: 2022-03-30
• 公開（公告）號: CN114420140B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 李強;朱勇;葉東翔;王堯
• 申請（專利權）人: 北京百瑞互聯技術有限公司
• 主分類號: G10L19/02
• 分類號: G10L19/02;G10L19/16;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 北京國科程知識產權代理事務所(普通合伙) 11862
• 代理人: 曹曉斐

1.一種基于生成對抗網絡的頻帶擴展方法，其特征在于，包括：

在音頻編碼或解碼過程中，通過LC3音頻編碼器或解碼器對輸入的音頻數據進行特征提取，確定其對應的譜系數；

對所述譜系數進行帶寬檢測，得到帶寬指示；

若所述帶寬指示為窄帶寬，則通過預訓練的生成網絡對所述窄帶寬對應的低頻譜系數進行擴展，得到高頻譜系數；

將所述低頻譜系數和所述高頻譜系數組合，得到寬帶譜系數，其中，所述生成網絡的預訓練過程包括：

獲取寬帶語音，并對所述寬帶語音進行濾波，得到窄帶語音，其中所述寬帶語音具有寬帶寬，所述窄帶語音僅具有窄帶寬；

分別對所述寬帶語音和所述窄帶語音進行特征提取，得到所述寬帶語音對應的真寬帶譜系數和所述窄帶語音對應的窄帶譜系數；

根據所述真寬帶譜系數和從所述窄帶譜系數中提取的所述低頻譜系數對所述生成網絡進行訓練，使得所述生成網絡能夠根據所述窄帶譜系數生成所述高頻譜系數。

2.根據權利要求1所述的基于生成對抗網絡的頻帶擴展方法，其特征在于，所述通過LC3音頻編碼器或解碼器對輸入的音頻數據進行特征提取，確定其對應的譜系數，包括：

在LC3音頻編碼器的音頻編碼過程中，通過對所述音頻數據進行低延遲改進型離散余弦變換，得到所述譜系數，或

在LC3音頻解碼器的音頻解碼過程中，對輸入的解碼音頻數據解碼至變換域噪聲整形步驟，得到所述譜系數。

3.根據權利要求1所述的基于生成對抗網絡的頻帶擴展方法，其特征在于，所述生成網絡的預訓練過程還包括：

將所述低頻譜系數和所述高頻譜系數組合，得到假寬帶譜系數；

通過判別網絡對所述真寬帶譜系數和所述假寬帶譜系數進行判斷，對所述生成網絡進行優化。

4.一種頻帶擴展的音頻編解碼方法，其特征在于，包括：

在音頻編碼或解碼過程中，通過LC3音頻編碼器或解碼器對輸入的音頻數據進行特征提取，確定其對應的譜系數；

對所述譜系數進行帶寬檢測，得到帶寬指示；

若所述帶寬指示為窄帶寬，則通過預訓練的生成網絡對所述窄帶寬對應的低頻譜系數進行擴展，得到高頻譜系數；

將所述低頻譜系數和所述高頻譜系數組合，得到寬帶譜系數

所述LC3音頻編碼器或解碼器根據所述寬帶譜系數對所述音頻數據進行編碼或解碼，其中所述生成網絡的預訓練過程包括：

獲取寬帶語音，并對所述寬帶語音進行濾波，得到窄帶語音，其中所述寬帶語音具有寬帶寬，所述窄帶語音僅具有窄帶寬；

分別對所述寬帶語音和所述窄帶語音進行離散余弦變換，得到所述寬帶語音對應的寬帶譜系數和所述窄帶語音對應的窄帶譜系數；

根據所述寬帶譜系數和從所述窄帶譜系數中提取的所述低頻譜系數對所述生成網絡進行訓練，使得所述生成網絡能夠根據所述窄帶譜系數生成所述高頻譜系數。

5.一種頻帶擴展系統，其特征在于，包括：

特征提取模塊，其在LC3音頻編解碼器的音頻編碼或解碼過程中，對輸入的音頻數據進行特征提取，確定其對應的譜系數；

帶寬檢測模塊，其對所述譜系數進行帶寬檢測，得到帶寬指示；

帶寬擴展模塊，若所述帶寬指示為窄帶寬，則其通過預訓練的生成網絡對所述窄帶寬對應的低頻譜系數進行擴展，得到高頻譜系數，并將所述低頻譜系數和所述高頻譜系數組合，得到寬帶譜系數，其中，所述生成網絡的預訓練過程包括：

獲取寬帶語音，并對所述寬帶語音進行濾波，得到窄帶語音，其中所述寬帶語音具有寬帶寬，所述窄帶語音僅具有窄帶寬；

分別對所述寬帶語音和所述窄帶語音進行特征提取，得到所述寬帶語音對應的真寬帶譜系數和所述窄帶語音對應的窄帶譜系數；

根據所述真寬帶譜系數和從所述窄帶譜系數中提取的所述低頻譜系數對所述生成網絡進行訓練，使得所述生成網絡能夠根據所述窄帶譜系數生成所述高頻譜系數。

6.一種計算機可讀存儲介質，其存儲有計算機指令，其中計算機指令被操作以執行權利要求1-3或4任一項所述的方法。

7.一種計算機設備，其包括處理器和存儲器，所述存儲器存儲有計算機指令，其中：所述處理器操作計算機指令以執行權利要求1-3或4任一項所述的方法。