[發明專利]一種基于GAN網絡的現場混音方法、裝置、設備及介質

在審

• 申請號: 202010879611.3
• 申請日: 2020-08-27
• 公開（公告）號: CN112116906A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 孫善寶;羅清彩;譚強
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G10L13/033
• 分類號: G10L13/033;G10L25/03;G10L25/30;G10L25/51;G06K9/62;G06N3/04
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 董延麗

1.一種基于GAN網絡的現場混音方法，其特征在于，所述方法包括：

通過收集設備收集現場的音頻數據；

將所述現場的音頻數據輸入至預先訓練的現場混音模型，并輸出現場音頻數據的混音結果，其中，所述現場混音模型是基于GAN網絡訓練生成，所述現場混音模型包括辨別器與生成器。

2.根據權利要求1所述的基于GAN網絡的現場混音方法，其特征在于，所述將所述現場的音頻輸入至預先訓練的現場混音模型之前，所述方法還包括：

通過收集設備收集樣本集，其中，所述樣本集包括多個現場的音頻數據與多個混音后的音頻數據；

建立初始的現場混音模型，其中，所述初始的現場混音模型包括初始的辨別器與初始的生成器；

根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型。

3.根據權利要求2所述的基于GAN網絡的現場混音方法，其特征在于，所述通過收集設備收集樣本集之后，所述方法還包括：

根據預先設定的時間間隔，對所述樣本集中的多個現場的音頻數據與多個混音后的音頻數據進行分割，確定出多個樣本數據；

所述根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型，具體包括：

根據所述樣本集中的多個樣本數據訓練初始的現場混音模型，確定出最終的現場混音模型。

4.根據權利要求2所述的基于GAN網絡的現場混音方法，其特征在于，所述根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型，具體包括：

固定所述初始的辨別器的網絡參數，通過所述樣本集訓練所述初始的生成器，確定出所述初始的生成器的網絡參數，以便所述初始的辨別器無法區分混音后的音頻數據來自訓練后的生成器，還是來自真實的音頻數據；

固定訓練后生成器的網絡參數，通過所述樣本集訓練所述初始的辨別器，確定出所述初始的辨別器的網絡參數，以便訓練后的辨別器可以區分是真實的音軌數據與訓練后生成器生成的音軌數據，其中，所述音軌數據來自不同音頻輸入設備產生的音頻數據；

交替訓練所述初始的辨別器與所述初始的生成器，得到最終的現場混音模型。

5.根據權利要求2所述的基于GAN網絡的現場混音方法，其特征在于，所述根據所述樣本集訓練初始的現場混音模型，確定出最終的現場混音模型之后，所述方法還包括：

通過收集設備收集現場的音頻數據，根據所述最終的現場混音模型的生成器，確定出現場音頻數據的混音結果；

根據所述現場音頻數據的混音結果，微調所述最終的現場混音模型中生成器與辨別器的網絡參數，確定出符合現場要求的現場混音模型。

6.根據權利要求1所述的基于GAN網絡的現場混音方法，其特征在于，所述生成器用于將多路音頻融合形成兩路輸出音頻，所述生成器包括提取單路音軌的卷積層網絡、多路向量融合的卷積層網絡、注意力機制網絡與全連接層網絡；所述提取單路音軌的卷積層網絡用于實現單路音頻數據的特征提取，形成特征向量；所述多路向量融合的卷積層網絡用于將來自多個音軌的特征向量的融合；所述注意力機制網絡包括多個注意力網絡和歸一化層，所述注意力機制網絡用于負責完成時間序列下的一段音頻間的特征融合，并將所述歸一化層輸出的音頻數據與來自所述現場音軌數據進行求和，再經過所述全連接層網絡，最終輸出兩路音軌數據。

7.根據權利要求1所述的基于GAN網絡的現場混音方法，其特征在于，所述辨別器是基于神經網絡的二元分類器，所述辨別器是根據Wasserstein距離確定。

8.一種基于GAN網絡的現場混音裝置，其特征在于，所述裝置包括：

收集單元，用于通過收集設備收集現場的音頻數據；

結果單元，用于將所述現場的音頻數據輸入至預先訓練的現場混音模型，并輸出現場音頻數據的混音結果，其中，所述現場混音模型是基于GAN網絡訓練生成，所述現場混音模型包括辨別器與生成器。