[發明專利]一種基于GAN網絡的現場混音方法、裝置、設備及介質

在審

• 申請號: 202010879611.3
• 申請日: 2020-08-27
• 公開（公告）號: CN112116906A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 孫善寶;羅清彩;譚強
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G10L13/033
• 分類號: G10L13/033;G10L25/03;G10L25/30;G10L25/51;G06K9/62;G06N3/04
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 董延麗

本申請公開了一種基于GAN網絡的現場混音方法、裝置、設備及介質，包括：通過收集設備收集現場的音頻數據；將所述現場的音頻數據輸入至預先訓練的現場混音模型，并輸出現場音頻數據的混音結果，其中，所述現場混音模型是基于GAN網絡訓練生成，所述現場混音模型包括辨別器與生成器。本說明書實施例采用GAN網絡和深度學習技術，構建了現場的現場混音模型，與傳統聲音融合技術相比，采用GAN網絡構建的現場混音模型，在沒有調音師的情況下也可以很好地合成具有復雜分布的聲音，節省人力，并可以提高音頻的混音成音的效率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于GAN網絡的現場混音方法、裝置、設備及介質。

背景技術

現場直播又稱實況轉播，是電視臺對一些重要新聞事件或大型活動進行現場拾音、拍攝并同時發送給受眾的播出方式。這些大型活動如文藝演出、節日慶典等，現場聲音通過混音臺輸出分軌直錄的聲音，通過成音控臺完成現場成音，經過轉播車將節目信號傳送回臺，再廣播出去到電視機前觀眾面前。混音成音的工作由現場調音師來完成，現場包括樂器、人聲等三十幾個音軌，而最終輸出到電視機前只有兩個音軌，同時需要消去現場的各種雜音，以達到更好的收看效果，這對現場調音師有很高的要求。現有技術中，若是現場調音師的水平不高，生成得混音效果可能很差。

發明內容

有鑒于此，本申請實施例提供了一種基于GAN網絡的現場混音方法、裝置、設備及介質，用于解決現有技術中，若是現場調音師的水平不高，生成得混音效果可能很差的問題。

本申請實施例采用下述技術方案：

本申請實施例提供一種基于GAN網絡的現場混音方法，所述方法包括：

通過收集設備收集現場的音頻數據；

將所述現場的音頻數據輸入至預先訓練的現場混音模型，并輸出現場音頻數據的混音結果，其中，所述現場混音模型是基于GAN網絡訓練生成，所述現場混音模型包括辨別器與生成器。

需要說明的是，本說明書實施例采用GAN網絡和深度學習技術，構建了現場的現場混音模型，與傳統聲音融合技術相比，采用GAN網絡構建的現場混音模型，在沒有調音師的情況下也可以很好地合成具有復雜分布的聲音，節省人力，并可以提高音頻的混音成音的效率。

進一步的，所述將所述現場的音頻輸入至預先訓練的現場混音模型之前，所述方法還包括：

通過收集設備收集樣本集，其中，所述樣本集包括多個現場的音頻數據與多個混音后的音頻數據；

建立初始的現場混音模型，其中，所述初始的現場混音模型包括初始的辨別器與初始的生成器；

根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型。

進一步的，所述通過收集設備收集樣本集之后，所述方法還包括：

根據預先設定的時間間隔，對所述樣本集中的多個現場的音頻數據與多個混音后的音頻數據進行分割，確定出多個樣本數據；

所述根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型，具體包括：

根據所述樣本集中的多個樣本數據訓練初始的現場混音模型，確定出最終的現場混音模型。

需要說明的是，考慮音頻的時序性以及上下文的關聯，通過上述方式將音頻數據進行小段分割，使得最終的現場混音模型的混合聲音的效果更好。

進一步的，所述根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型，具體包括：

固定所述初始的辨別器的網絡參數，通過所述樣本集訓練所述初始的生成器，確定出所述初始的生成器的網絡參數，以便所述初始的辨別器無法區分混音后的音頻數據來自訓練后的生成器，還是來自真實的音頻數據；