[發明專利]多路音頻混音的處理方法、系統、混音處理器和存儲介質

有效

• 申請號: 202210404552.3
• 申請日: 2022-04-18
• 公開（公告）號: CN114512139B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 程景;詹志強
• 申請（專利權）人: 杭州星犀科技有限公司
• 主分類號: G10L21/01
• 分類號: G10L21/01;G10L21/007;H04R3/00
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 季健康

本申請涉及一種多路音頻混音的處理方法、系統、混音處理器和存儲介質，通過獲取多個音頻輸入源輸入的音頻流，其中，每個音頻輸入源對應有一個緩存隊列，在音頻流中音頻幀的字節數相同的情況下，將所有音頻幀緩存至對應的緩存隊列中，將緩存隊列中音頻幀的時間戳和期望時間戳誤差在預設時間內的音頻幀放入待混音數組，若待混音數組中音頻幀的數量為零，則輸出空音頻幀，否則對待混音數組中的音頻幀進行混音處理并輸出混音后的音頻幀，對于延遲或丟包的音頻幀則不參與混音，解決了當某一路音頻輸入源采集的音頻流存在延遲或丟包時，會造成混音后的音頻流也存在延遲或丟包的問題。

技術領域

本申請涉及音視頻技術領域，特別是涉及多路音頻混音的處理方法、系統、混音處理器和存儲介質。

背景技術

直播過程中，主播會有多路音頻混音的需求，例如將MIC音頻源、本地音頻源和網絡音頻源進行混音，在相關技術中，由于音頻源動態插拔和切換或網絡條件不好的情況下，會出現數據延遲或丟包，當某一路音頻輸入源采集的音頻流存在延遲或丟包時，會造成混音后的音頻流也存在延遲或丟包。

目前針對相關技術中當某一路音頻輸入源采集的音頻流存在延遲或丟包時，會造成混音后的音頻流也存在延遲或丟包的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種多路音頻混音的處理方法、系統、混音處理器和存儲介質，以至少解決相關技術中當某一路音頻輸入源采集的音頻流存在延遲或丟包時，會造成混音后的音頻流也存在延遲或丟包的問題。

第一方面，本申請實施例提供了一種多路音頻混音的處理方法，所述方法包括：

獲取多個音頻輸入源輸入的音頻流，其中，每個所述音頻輸入源對應有一個緩存隊列；

在所述音頻流中音頻幀的字節數相同的情況下，將所有音頻幀緩存至對應的所述緩存隊列中；

將所述緩存隊列中音頻幀的時間戳和期望時間戳誤差在預設時間內的音頻幀放入待混音數組，若所述待混音數組中音頻幀的數量為零，則輸出空音頻幀，否則對所述待混音數組中的音頻幀進行混音處理并輸出混音后的音頻幀。

在其中一些實施例中，將所述緩存隊列中音頻幀的時間戳和期望時間戳誤差在預設時間內的音頻幀放入待混音數組包括：

將預設時間戳作為所述期望時間戳的初始值，并以標準音頻幀時長作為步進值迭代更新所述期望時間戳；

循壞執行將所述緩存隊列中音頻幀的時間戳和期望時間戳誤差在預設時間內的音頻幀放入待混音數組。

在其中一些實施例中，獲取多個音頻輸入源輸入的音頻流之后，在所述音頻流中音頻幀的字節數不相同的情況下，所述方法還包括：

獲取當前音頻幀的字節數，按照預設字節數對各個音頻流中的音頻幀進行重新分包，直至所有音頻幀的字節數等于所述預設字節數，并根據預設規則重新打上時間戳后，將所有音頻幀緩存至對應的所述緩存隊列中；

所述根據預設規則重新打上時間戳包括：

第一幀音頻幀的時間戳為第一原始時間戳，若不存在延遲和丟包，則第二幀及以上的音頻幀的時間戳為所述第一原始時間戳累加標準幀音頻幀時長；

若在第n-1幀和第n幀之間存在延遲和丟包，則第n幀音頻幀的時間戳為第二原始時間戳，第n+1幀及以上的音頻幀的時間戳為所述第二原始時間戳累加標準幀音頻幀時長。

在其中一些實施例中，將音頻幀緩存至所述緩存隊列之前，對所述音頻幀進行增益處理，和/或，從所述緩存隊列中取出所述音頻幀后，對所述音頻幀進行延遲處理。

在其中一些實施例中，所述預設時間包括標準音頻幀時長或M幀音頻幀時間間隔的平均值，其中，M為2以上的正整數，所述預設時間戳為當前系統時間戳與緩沖時間之和。