[發明專利]一種輕量級的多方會議混音方法和裝置

在審

• 申請號: 201410414450.5
• 申請日: 2014-08-21
• 公開（公告）號: CN104167210A
• 公開（公告）日: 2014-11-26
• 發明（設計）人: 王田;蔡奕僑;鐘必能;陳永紅;田暉;張國亮
• 申請（專利權）人: 華僑大學
• 主分類號: G10L19/008
• 分類號: G10L19/008;H04N7/15;H04L29/06
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭;林燕玲

技術領域

本發明涉及多方會議通信領域技術，特別是一種輕量級的多方會議混音方法和裝置。

背景技術

多方視頻會議系統中，混音是一項重要技術。混音是將多個音頻源的音頻根據音頻疊加原理混合為一路音頻輸出，使音頻的接收者感覺到多人會議交流的效果。

混音可以實現在媒體控制器即服務器端，也可以實現在終端即客戶端。

直接在服務器端實現，即客戶端把各自的音頻數據PCM語音信號通過編碼器編碼，然后發送給服務器端，服務器先將多個音頻源的音頻解碼，然后根據音頻疊加原理混合為一路音頻再編碼輸出，使音頻的接收者感覺到多人會議交流的效果。但是由于服務器端需要多路解碼，同時最后又要編碼，因此計算量和時間復雜度均較大，導致延時也較大。這也就限制了該方案的應用范圍。

直接在終端實現混音，即客戶端把音頻數據PCM語音信號通過編碼器編碼，發送給服務器端，服務器端將各個終端即客戶端的音頻，發送到除源端以外的所有終端，各個終端對所有接收到的音頻流進行合成。混音的計算壓力在各個終端，這種方案會對網絡造成更大的壓力。一來終端的計算量增大，這對于一些計算能力較弱的移動終端，無法承擔混音計算的壓力。二來每個終端的語音包都要轉發給除源端以外的終端，占用網絡帶寬資源。

還有一些方案，不需要編碼和解碼，終端直接把語音包發給服務器端，然后服務器端進行混音。由于終端沒有對語音包進行編碼就直接發包，嚴重占用網絡帶寬。

發明內容

本發明的主要目的在于針對多方會議的實際應用需求，同時兼顧手機等便攜小設備的個性特征，提出一種新穎而簡單的快速實時的輕量級的多方會議混音方法和裝置。

本發明采用如下技術方案：

一種輕量級的多方會議混音方法，其特征在于：1)客戶端采用AMR編碼器對語音進行編碼后得到語音PCM數據及數據長度，對編碼后的語音PCM數據采用分幀處理，計算每幀語音能量值，并結合該幀語音能量值及其數據長度來確定該幀為語音幀或非語音幀，從而統計出語音PCM數據中語音幀的概率值；2)服務器端通過接收到的語音概率值選出當前的語音概率值最高的兩個發言者的語音流，并根據這兩個語音概率值大小決定是否使用疊加原理將選出的最多兩路語音流進行混音，最后轉發混音后的語音包。

優選的，預先設定：客戶端每隔一段時間抓取到一幀語音信號，每幀語音信號包括m個采樣值，每個采樣值的能量為r_i；設定統計窗口包括連續的n幀語音信號，當前幀的能量相對參考值為E_refer；步驟1)具體包括如下：

1.1)客戶端輸入語音PCM數據及AMR編碼后的輸出長度，計算當前幀語音PCM數據的能量值

1.2)判斷AMR編碼后的當前幀輸出長度是否等于31，若是，則記錄該幀的能量值，作為語音能量參考值，判定該幀為語音幀并加入統計窗口內，進入步驟1.4)；若否，則記錄該幀的能量值，作為非語音能量參考值，進入步驟1.3)；

1.3)判斷當前幀能量值是否大于其能量相對參考值E_refer，若是，則判定該幀為語音幀，若否，則判定該幀為非語音幀；加入新的統計窗口內，進入步驟1.4)

1.4)判斷統計窗口是否已滿，若是，則計算統計窗口內語音幀的占比，表示成0到100的語音概率值；若否，則進入下一幀，跳至步驟1.1)；

優選的，設定當前幀的前n個連續幀的非語音能量參考值的最大值為E_noise，而語音能量參考值的最大值表示為E_voise，則當前幀的能量相對參考值E_refer用如下公式計算：

E_refer＝E_noise+(E_voice-E_noise)/10。

優選的，步驟2)具體如下：

2.1)服務器接收客戶端發送過來的語音概率值，選出語音概率值最高的兩條語音流F1、F2，其語音概率值分別為P1、P2，P1>P2；

2.2)判斷P1>2P2是否成立，若是，則只將P₁對應的語音流輸出；若否，則將這兩條語音流進行混音后輸出。

一種輕量級的多方會議混音裝置，包括客戶端和服務器，其特征在于：