[發(fā)明專利]混音方法、裝置、設備、系統(tǒng)及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911358366.5
• 申請日: 2019-12-25
• 公開（公告）號: CN110995946B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設計）人: 王展;胡小鵬;顧振華
• 申請（專利權(quán)）人: 蘇州科達科技股份有限公司
• 主分類號: H04M3/56
• 分類號: H04M3/56;G10L19/012;H04L29/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 田媛媛

本發(fā)明公開了兩種可分別應用于多點會議控制器和SFU中混音方法、裝置、設備、系統(tǒng)及可讀存儲介質(zhì)。當采用多點會議控制器進行混音處理時，在靜音狀態(tài)多點會議控制器不進行混音處理，在非靜音狀態(tài)下對音頻RTP包進行篩選后進行混音，可大大降低多點會議控制器的混音任務量，在參會方較多的場景下，多點會議控制器也能滿足混音需求。當采用終端測進行混音處理時，在靜音狀態(tài)SFU不轉(zhuǎn)發(fā)音頻數(shù)據(jù)包，在非靜音狀態(tài)下對音頻RTP包的篩選，可大大降低SFU向各個會議終端轉(zhuǎn)發(fā)的音頻RTP包的數(shù)量，即會議終端的混音任務量便可降低。如此，在參會方較多的場景下，終端側(cè)也能滿足混音需求。

技術(shù)領域

本發(fā)明涉及信號處理技術(shù)領域，特別是涉及兩種混音方法、裝置、設備、系統(tǒng)及可讀存儲介質(zhì)。

背景技術(shù)

隨著在多方視頻會議中，每一個接收端都要能夠聽到其他終端發(fā)出的聲音，同時不能聽到自己發(fā)出的聲音，因此就需要有混音功能；混音可以在平臺做，也可以在終端側(cè)做。在平臺做混音時平臺就需要接收多有終端發(fā)送的音頻碼流，并進行解碼，然后針對不同終端進行混音，使其不包含接收終端發(fā)送的聲音，最后將混音后的聲音進行編碼發(fā)送給接收端。若終端做混音，則平臺接收終端的音頻碼流，并將其轉(zhuǎn)發(fā)給其他終端，終端收到多條音頻碼流后進行解碼，最后進行混音播放。

對于上面所述的兩種混音方式，在入會方數(shù)較少時，平臺或者終端的性能能夠滿足解碼播放；但在入戶方數(shù)較多，甚至上百級別的大方數(shù)會議中，平臺或者終端的性能完全不能滿足大量的音頻編解碼和音頻碼流轉(zhuǎn)發(fā)的需要。且，在大多數(shù)會議中，難以保證所有終端都能夠被啞音，這就會導致很多噪聲進入混音，導致混音后的聲音嘈雜，嚴重影響聲音的效果。

綜上所述，如何有效地解決入會方數(shù)量較多情景下的混音等問題，是目前本領域技術(shù)人員急需解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供兩種混音方法、裝置、設備、系統(tǒng)及可讀存儲介質(zhì)，以滿足入會方數(shù)量較多的情景下的混音需求。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

一種混音方法，應用于多點會議控制器，包括：

接收各個會議終端發(fā)送的音頻RTP包，并讀取各個所述音頻RTP包的擴展頭信息；所述擴展頭信息包括聲音特征信息或靜音標記信息；

利用當前混音時間對應的所述靜音標記信息判斷當前混音時間是否為靜音狀態(tài)；

如果是，則生成含有靜音標記的音頻幀；

如果否，則利用所述聲音特征信息從各個所述音頻RTP包中篩選出目標音頻RTP包，并對所述目標音頻RTP包進行解碼混音；對混音結(jié)果進行編碼，得到當前混音時間各個所述會議終端分別對應的混音RTP包，將所述混音RTP包發(fā)送至各個所述會議終端，以便所述會議終端利用所述混音RTP包播放會議語音。

優(yōu)選地，所述聲音特征信息包括語音標記、能量值、噪音標記和音樂標記；利用所述聲音特征信息從各個所述音頻RTP包中篩選出目標音頻RTP包，包括：

判斷具有所述聲音特征信息的音頻RTP包的路數(shù)是否小于預設閾值；

如果否，則按所述能量值的大小進行排序，并結(jié)合所述音樂標記、所述語音標記和所述噪音標記篩選出所述目標音頻RTP包；

如果是，則將具有所述聲音特征信息的音頻RTP包確定為所述目標音頻RTP包。

優(yōu)選地，所述對混音結(jié)果進行編碼，得到混音RTP包，包括：

分別判斷各個所述會議終端分別對應的上一幀混音RTP包是否發(fā)送給各個所述會議終端；

將未發(fā)送的幀數(shù)添加至相應的會議終端對應的RTP擴展頭中，獲得所述混音RTP包。

優(yōu)選地，在所述生成含有靜音標記的音頻幀之后，還包括：