[發明專利]一種多音源混音方法、裝置及存儲介質

有效

• 申請號: 202010614374.8
• 申請日: 2020-06-30
• 公開（公告）號: CN111770413B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 盧欣龍
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: H04R3/00
• 分類號: H04R3/00;G10K15/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 潘平

本申請公開了一種多音源混音方法、裝置及存儲介質，涉及音頻處理領域，以提高各混音源的同步性。該方法包括：分別對各混音源進行采樣，并確定所述各混音源的采樣幀數；根據所述各混音源的采樣幀數，確定所述各混音源中的第一混音源；在對各混音源進行混音處理時，對部分或全部所述第一混音源進行丟幀處理，以使在預定時間內，進行丟幀處理的第一混音源與采樣幀數最小的混音源之間的幀數差小于第一閾值。這樣，通過丟幀處理平衡各混音源的幀數，可以提高各混音源的同步性。

技術領域

本申請涉及音頻處理領域，尤其涉及一種多音源混音方法、裝置及存儲介質。

背景技術

目前，多源音頻采集后混音的應用越發廣泛，如教育錄播系統、視頻會議系統等。當進行多音源混音時，通常需要等待所有數據都準備好后，才能進行混音，否則會導致混音后的頻率大于音頻端口的采樣頻率。由于使用多個音頻端口，因此硬件設計人員通常難以使用單一時鐘源去驅動所有的音頻端口；而當使用多個時鐘源時，不同時鐘源的頻偏不同，將會導致不同音頻端口采樣頻偏有輕微偏差。這種輕微偏差短時間內是不會造成任何問題的，但是如果混音設備長時間運行，偏差將會逐漸累積，進而造成長時間混音后，音頻不同步的問題。

發明內容

本申請實施例提供一種多音源混音方法、裝置及存儲介質，以提高各混音源的同步性。

第一方面，本申請實施例提供的一種多音源混音方法，包括：

分別對各混音源進行采樣，并確定所述各混音源的采樣幀數；

根據所述各混音源的采樣幀數，確定所述各混音源中的第一混音源；

在對各混音源進行混音處理時，對部分或全部所述第一混音源進行丟幀處理，以使在預定時間內，進行丟幀處理的第一混音源與采樣幀數最小的混音源之間的幀數差小于第一閾值。

上述方法，通過確定各混音源的采樣幀數，并將采樣幀數較大的混音源進行丟幀處理，以使各混音源的幀數保持在一個預定的范圍內。這樣，通過丟幀處理平衡各混音源的幀數，可以提高各混音源的同步性。

在一種可能的實現方式中，所述根據所述各混音源的采樣幀數，確定所述各混音源中的第一混音源，包括：

將所述各混音源中與所述采樣幀數最小的混音源之間的幀數誤差大于第二閾值的混音源作為第二混音源；其中，所述第二閾值小于所述第一閾值；

若所述第二混音源的數量超過預設數量后，計算各所述第二混音源的頻偏置信度；

將頻偏置信度大于第三閾值的第二混音源確定為所述第一混音源。

上述方法，通過計算第二混音源的頻偏置信度，確定哪些混音源為可能需要進行丟幀處理的混音源，這樣，可以使獲取需要進行丟幀處理的混音源更加準確。

在一種可能的實現方式中，通過下列方式確定需要進行丟幀處理的第一混音源：

若所述第一混音源與所述采樣幀數最小的混音源之間的幀數誤差大于第一閾值，則將所述第一混音源作為需要進行丟幀處理的第一混音源。

上述方法，通過各混音源與采樣幀數最小的混音源之間的幀數誤差確定需要進行丟幀處理的第一混音源。這樣，可以進一步的使獲取需要進行丟幀處理的混音源更加準確。

在一種可能的實現方式中，通過下列方式進行丟幀處理：

丟棄符合丟棄條件的所述需要進行丟幀處理的第一混音源中的音頻幀；

其中，所述丟棄條件包括以下至少之一：

相鄰兩個丟棄的音頻幀之間的幀間隔不小于預設丟幀間隔；

丟棄的音頻幀為靜音數據。