[發明專利]一種提升視頻會議系統混音容量的方法

有效

• 申請號: 201610191335.5
• 申請日: 2016-03-30
• 公開（公告）號: CN105743911B
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 邊學工;唐雪華;王中元;鄧亮;汪亞洲
• 申請（專利權）人: 武漢隨銳億山科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04N7/15;H04N5/222
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

本發明公開了一種提升視頻會議系統混音容量的方法，借助opus碼流中嵌入的語音活動狀態標識，將壓縮語音區分為活動語音和非活動語音，在網絡接收階段直接拋棄非活動語音，從而省掉了后續的解碼和混音運算。具體步驟包括：從接收的opus編碼語音幀中提取語音活動標記VAD，VAD標記分0、1、2三種值，分別指示非活動語音、活動語音、無法判斷三種情況；對判斷為非活動語音的opus幀在網絡接收層選擇性丟棄，同時修改后續的RTP包參數；當混音器輸入語音緩沖區出現下溢時，填充靜音幀，同時對靜音幀的VAD標記和能量參數賦值。采用本發明方法可簡化視頻會議系統中混音運算步驟，從而大幅度提高混音容量，同時未給基于opus的互聯互通帶來不利影響。

技術領域

本發明屬于視頻會議技術領域，涉及一種混音容量提升方法，具體涉及一種提升視頻會議系統混音容量的方法。

技術背景

多點混音是視頻會議系統的一項基本功能。多點混音器通過將物理上分布在不同位置的與會者的聲音混合在一起，每個與會者都能聽到其他多個發言人的聲音，達到模仿真實的會話場景的效果，增加了會議的臨場感。但多點混音涉及到復雜的多路話音的編解碼、混合運算及其它輔助處理，極大地限制了混音器容量的提升，提高混音器的處理效率成為突破混音容量上限的技術瓶頸。

現有主流混音方案無一例外地對所有壓縮語音數據全部解碼，然后再選擇能量高的活動語音來混合。由于所有語音數據都要經過解碼及后續的處理，運算量居高不下。由于視頻會議中通常只有少數人在講話，大部分人不發言或很少發言，因此整體上多路語音中的非活動語音時段占絕對比例，對本不需要參與混音的非活動語音執行與活動語音同樣的解碼操作造成了運算資源的極大浪費。基于這一原理，部分研究者嘗試在終端計算聲音的能量和活動狀態，作為參數與壓縮語音一起傳送到混音器，混音器只對能量高的活動語音進行處理。這種方式能有效降低計算量，但由于終端添加了本不屬于音頻標準的附加參數，影響了系統的互聯互通性能。

發明內容

為了解決上述技術問題，本發明提供了一種提升視頻會議系統簡化混音器的運算過程、大幅度提高混音容量的混音容量的方法。

本發明所采用的技術方案是：一種提升視頻會議系統混音容量的方法，其特征在于，包括以下步驟：

步驟1：活動語音標記提取；

從接收的opus編碼語音幀中提取語音活動標記VAD，VAD標記分0、1、2三種值，分別指示非活動語音、活動語音、無法判斷三種情況；

步驟2：非活動語音丟棄；

對判斷為非活動語音的opus幀在網絡接收層選擇性丟棄，同時修改后續的RTP包參數；

步驟3：靜音插入；

當混音器輸入語音緩沖區出現下溢時，填充靜音幀，同時給出靜音幀的VAD標記和能量參數的值。

作為優選，步驟1的具體實現包括以下子步驟：

步驟1.1：解析opus碼流中編碼模式指示位，將當前語音幀區分為silk、celt和混合編碼三種模式；所述碼流為接收的opus編碼語音幀；

步驟1.2：對silk和混合模式，解析碼流中VAD標記指示位，獲得VAD的0或1標記，0表明為非活動語音，1表明為活動語音；對celt模式，由于碼流沒有提供VAD指示信息，視為無法判斷處理，將VAD標記置為2。

作為優選，步驟2的具體實現包括以下子步驟：

步驟2.1：設置非活動語音幀丟棄門限T，如果兩次活動語音幀間連續的非活動語音幀數目超過了門限T，則將其間的非活動語音幀全部丟棄；否則保留；

步驟2.2：修改后續語音幀RTP包的序列號和時間戳，確保序列號連續、時間戳遞增。

作為優選，步驟3的具體實現包括以下子步驟：