[發(fā)明專利]多路音頻混音的處理方法、系統(tǒng)、混音處理器和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210404552.3
• 申請(qǐng)日: 2022-04-18
• 公開(kāi)（公告）號(hào): CN114512139B
• 公開(kāi)（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 程景;詹志強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 杭州星犀科技有限公司
• 主分類號(hào): G10L21/01
• 分類號(hào): G10L21/01;G10L21/007;H04R3/00
• 代理公司: 杭州創(chuàng)智卓英知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33324
• 代理人: 季健康

1.一種多路音頻混音的處理方法，其特征在于，所述方法包括：

獲取多個(gè)音頻輸入源輸入的音頻流，其中，每個(gè)所述音頻輸入源對(duì)應(yīng)有一個(gè)緩存隊(duì)列；

在所述音頻流中音頻幀的字節(jié)數(shù)相同的情況下，將所有音頻幀緩存至對(duì)應(yīng)的所述緩存隊(duì)列中，其中，所述緩存隊(duì)列為以音頻幀時(shí)間戳排序的有序隊(duì)列；

將所述緩存隊(duì)列中音頻幀的時(shí)間戳和期望時(shí)間戳誤差在預(yù)設(shè)時(shí)間內(nèi)的音頻幀放入待混音數(shù)組，若所述待混音數(shù)組中音頻幀的數(shù)量為零，則輸出空音頻幀，否則對(duì)所述待混音數(shù)組中的音頻幀進(jìn)行混音處理并輸出混音后的音頻幀，并以所述期望時(shí)間戳作為混音后音頻幀的時(shí)間戳，其中，所述預(yù)設(shè)時(shí)間包括標(biāo)準(zhǔn)音頻幀時(shí)長(zhǎng)或M幀音頻幀時(shí)間間隔的平均值，M為2以上的正整數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述緩存隊(duì)列中音頻幀的時(shí)間戳和期望時(shí)間戳誤差在預(yù)設(shè)時(shí)間內(nèi)的音頻幀放入待混音數(shù)組包括：

將預(yù)設(shè)時(shí)間戳作為所述期望時(shí)間戳的初始值，并以標(biāo)準(zhǔn)音頻幀時(shí)長(zhǎng)作為步進(jìn)值迭代更新所述期望時(shí)間戳，其中，所述預(yù)設(shè)時(shí)間戳為當(dāng)前系統(tǒng)時(shí)間戳與緩沖時(shí)間之和；

循壞執(zhí)行將所述緩存隊(duì)列中音頻幀的時(shí)間戳和期望時(shí)間戳誤差在預(yù)設(shè)時(shí)間內(nèi)的音頻幀放入待混音數(shù)組。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取多個(gè)音頻輸入源輸入的音頻流之后，在所述音頻流中音頻幀的字節(jié)數(shù)不相同的情況下，所述方法還包括：

獲取當(dāng)前音頻幀的字節(jié)數(shù)，按照預(yù)設(shè)字節(jié)數(shù)對(duì)各個(gè)音頻流中的音頻幀進(jìn)行重新分包，直至所有音頻幀的字節(jié)數(shù)等于所述預(yù)設(shè)字節(jié)數(shù)，并根據(jù)預(yù)設(shè)規(guī)則重新打上時(shí)間戳后，將所有音頻幀緩存至對(duì)應(yīng)的所述緩存隊(duì)列中；

所述根據(jù)預(yù)設(shè)規(guī)則重新打上時(shí)間戳包括：

第一幀音頻幀的時(shí)間戳為第一原始時(shí)間戳，若不存在延遲和丟包，則第二幀及以上的音頻幀的時(shí)間戳為所述第一原始時(shí)間戳累加標(biāo)準(zhǔn)幀音頻幀時(shí)長(zhǎng)；

若在第n-1幀和第n幀之間存在延遲和丟包，則第n幀音頻幀的時(shí)間戳為第二原始時(shí)間戳，第n+1幀及以上的音頻幀的時(shí)間戳為所述第二原始時(shí)間戳累加標(biāo)準(zhǔn)幀音頻幀時(shí)長(zhǎng)。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，將音頻幀緩存至所述緩存隊(duì)列之前，對(duì)所述音頻幀進(jìn)行增益處理，和/或，從所述緩存隊(duì)列中取出所述音頻幀后，對(duì)所述音頻幀進(jìn)行延遲處理。

5.一種多路音頻混音的處理系統(tǒng)，其特征在于，所述系統(tǒng)包括獲取模塊、緩存模塊和混音模塊，

所述獲取模塊，用于獲取多個(gè)音頻輸入源輸入的音頻流，其中，每個(gè)所述音頻輸入源對(duì)應(yīng)有一個(gè)緩存隊(duì)列；

所述緩存模塊，用于在所述音頻流中音頻幀的字節(jié)數(shù)相同的情況下，將所有音頻幀緩存至對(duì)應(yīng)的所述緩存隊(duì)列中，其中，所述緩存隊(duì)列為以音頻幀時(shí)間戳排序的有序隊(duì)列；

所述混音模塊，用于將所述緩存隊(duì)列中音頻幀的時(shí)間戳和期望時(shí)間戳誤差在預(yù)設(shè)時(shí)間內(nèi)的音頻幀放入待混音數(shù)組，若所述待混音數(shù)組中音頻幀的數(shù)量為零，則輸出空音頻幀數(shù)據(jù)，否則對(duì)所述待混音數(shù)組中的音頻幀進(jìn)行混音處理并輸出混音后的音頻幀，并以所述期望時(shí)間戳作為混音后音頻幀的時(shí)間戳，其中，所述預(yù)設(shè)時(shí)間包括標(biāo)準(zhǔn)音頻幀時(shí)長(zhǎng)或M幀音頻幀時(shí)間間隔的平均值，M為2以上的正整數(shù)。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述混音模塊將所述緩存隊(duì)列中音頻幀的時(shí)間戳和期望時(shí)間戳誤差在預(yù)設(shè)時(shí)間內(nèi)的音頻幀放入待混音數(shù)組包括：

將預(yù)設(shè)時(shí)間戳和預(yù)設(shè)時(shí)間戳累加標(biāo)準(zhǔn)音頻幀時(shí)長(zhǎng)記為所述期望時(shí)間戳，其中，所述預(yù)設(shè)時(shí)間戳為當(dāng)前系統(tǒng)時(shí)間戳與緩沖時(shí)間之和；

循壞執(zhí)行將所述緩存隊(duì)列中音頻幀的時(shí)間戳和期望時(shí)間戳誤差在預(yù)設(shè)時(shí)間內(nèi)的音頻幀放入待混音數(shù)組。