[發(fā)明專利]一種基于聲音評價的會議舒適噪音混音系統(tǒng)及其方法

有效

• 申請?zhí)枺?/td>: 201811086506.3
• 申請日: 2018-09-18
• 公開（公告）號: CN109819129B
• 公開（公告）日: 2020-05-29
• 發(fā)明（設計）人: 李華松;陳尚武;盧錫芹
• 申請（專利權(quán)）人: 杭州敘簡科技股份有限公司
• 主分類號: G10L19/012
• 分類號: G10L19/012
• 代理公司: 北京科億知識產(chǎn)權(quán)代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于聲音評價的會議舒適噪音混音系統(tǒng)，其特征在于，包括音頻輸入模塊(1)，音頻輸出模塊(2)，噪音分類模塊(3)，聲音衰減模塊(4)，噪音截斷模塊(5)，噪音控制模塊(6)，混音模塊(7)，白噪聲產(chǎn)生模塊(8)，聲音檢測模塊(9)，音頻終端；

所述音頻終端：是能夠進行雙向語音采集、播放、傳輸?shù)脑O備；音頻終端的語音發(fā)送到音頻輸入模塊(1)，音頻終端的語音從音頻輸出模塊(2)接收；

所述音頻輸入模塊(1)是用于接收來自網(wǎng)絡、音頻線的語音模塊；音頻輸入模塊(1)接收來自音頻終端的語音，并把語音的音頻數(shù)據(jù)同時復制轉(zhuǎn)發(fā)給噪音分類模塊(3)與聲音檢測模塊(9)；

所述音頻輸出模塊(2)是用于把語音輸出到網(wǎng)絡、音頻線的模塊；音頻輸出模塊(2)接收來自混音模塊(7)的語音的音頻數(shù)據(jù)；音頻輸出模塊(2)把語音輸出到音頻終端；

所述噪音分類模塊(3)是用于檢測輸入音頻流的噪音進行分類的模塊；噪音分類模塊(3)接收音頻輸入模塊(1)發(fā)來輸入音頻流；噪音分類模塊(3)接收聲音檢測模塊(9)的是否有語音的檢測結(jié)果、以及音頻流無語音的聲音能量值與有語音的聲音能量值、以及語音能量值與噪音能量值的除數(shù)；

所述聲音衰減模塊(4)用于對語音的音頻數(shù)據(jù)進行衰減處理，以達到減低噪音效果；聲音衰減模塊(4)接收噪音分類模塊(3)的音頻流，衰減后把音頻流重新發(fā)給噪音分類模塊(3)；

所述噪音截斷模塊(5)用于處理信噪比差的音頻流，避免這些音頻流影響會議質(zhì)量；噪音截斷模塊(5)接收噪音分類模塊(3)的音頻流，噪音截斷模塊(5)接收聲音檢測模塊(9)的是否有語音的檢測結(jié)果，沒有語音的音頻流將被截斷，不輸出到噪音控制模塊(6)；噪音截斷模塊(5)把有語音的音頻流輸出給噪音控制模塊(6)；

所述噪音控制模塊(6)用于接收來自噪音分類模塊(3)與噪音截斷模塊(5)的音頻流；噪音控制模塊(6)接收聲音檢測模塊(9)的是否有語音的檢測結(jié)果，沒有語音的根據(jù)噪音能量值確定是否參與混音；噪音控制模塊(6)把需要混音的音頻流輸出到混音模塊(7)；

所述混音模塊(7)是分別為所有與會音頻終端混合的聽到聲音的模塊；混音模塊(7)接收噪音控制模塊(6)與白噪聲產(chǎn)生模塊(8)的音頻流進行混音；混音模塊(7)把混音后的音頻流發(fā)送給音頻輸出模塊(2)；

所述白噪聲產(chǎn)生模塊(8)是用于產(chǎn)生整個頻域內(nèi)均勻分布的噪聲音頻流的模塊；白噪聲產(chǎn)生模塊(8)接收噪音控制模塊(6)的控制消息，產(chǎn)生符合噪音能量值的音頻流；白噪聲產(chǎn)生模塊(8)把白噪音的音頻流輸出到混音模塊(7)；

所述聲音檢測模塊(9)是使用聲音跳變限位自適應檢測方法來檢測音頻流是噪音還是語音的模塊；聲音檢測模塊(9)接收來自音頻輸入模塊(1)的音頻流；聲音檢測模塊(9)把語音的檢測結(jié)果分別輸出到噪音分類模塊(3)、噪音截斷模塊(5)和噪音控制模塊(6)。

2.一種基于聲音評價的會議舒適噪音混音方法，其特征在于，包括如下步驟：

步驟(1)、音頻輸入模塊(1)接收來自音頻終端的語音，并把語音的音頻數(shù)據(jù)同時復制轉(zhuǎn)發(fā)給噪音分類模塊(3)和聲音檢測模塊(9)；

步驟(2)、聲音檢測模塊(9)使用聲音跳變限位自適應檢測方法來確定音頻流是噪音還是語音；

采用聲音跳變限位自適應檢測方法，設置一個能量值檢測值區(qū)間(t1～t2)，初始能量值檢測閥值為t，t在t1～t2區(qū)間內(nèi)；能量值檢測值調(diào)整策略，使用初始能量值檢測閥值t檢測到無語音，當按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式計算新能量檢測閥值，使用公式較快獲取噪音下限，如果t(n)小于能量值檢測值區(qū)間下限t1，則t(n)取值t1，如t(n)大于能量值檢測值區(qū)間上限t2，則t(n)取值t2；使用初始能量值檢測閥值t檢測到有語音，語音持續(xù)時間超過預設時間，以避免把噪音誤識別為語音，需要增大閥值，按照t(n)＝(t(n－1)+語音能量值)÷2公式計算增大能量檢測閥值；

步驟3、噪音分類模塊(3)把音頻流的噪音進行評價分類

(3.1)、噪音分類模塊(3)接收音頻輸入模塊(1)發(fā)來輸入音頻流；

(3.2)、噪音分類模塊(3)接收聲音檢測模塊(9)的是否有語音的檢測結(jié)果，輸入音頻流無語音的聲音能量值與有語音的聲音能量值，以及語音能量值與噪音能量值的除數(shù)；

(3.3)、噪音分類模塊(3)判斷噪音能量值大于噪音閾值tz，判斷語音能量值是否大于語音閾值tv，語音能量值小于則判斷此音頻為噪音過大類型，如果語音能量值大則認為可衰減降噪類型；

(3.3)、噪音分類模塊(3)判斷噪音能量值大于噪音閾值tz，判斷語音能量值是否大于語音閾值tv，語音能量值小于則判斷此音頻為噪音過大類型，如果語音能量值大則認為可衰減降噪類型；

(3.5)、噪音分類模塊(3)把可衰減降噪的音頻輸出到聲音衰減模塊(4)進行衰減降噪，聲音衰減模塊(4)把聲音按照語音閾值tv除以語音能量值的比例進行衰減，聲音衰減模塊(4)音頻衰減音頻流返回給噪音分類模塊(3)；

(3.6)、噪音分類模塊(3)把噪音過大的音頻流輸出給噪音截斷模塊(5)；

(3.7)、噪音分類模塊(3)判斷噪音能量值小于噪音閾值tz時，再與靜音閘值tj判斷，噪音能量值大于靜音閘值tj，則認為噪音正常類型，噪音能量值小于靜音閘值tj則認為噪音偏小類型；

(3.8)、噪音分類模塊(3)把正常噪音與無噪音的音頻流輸出給噪音控制模塊(6)；

步驟(4)、噪音截斷模塊(5)處理信噪比差的音頻流，避免這些音頻流影響會議質(zhì)量；噪音截斷模塊(5)接收噪音分類模塊(3)的音頻流，噪音截斷模塊(5)接收聲音檢測模塊(9)的是否有語音的檢測結(jié)果，沒有語音的音頻流將被截斷，不輸出到噪音控制模塊(6)；噪音截斷模塊(5)把有語音的音頻流輸出給噪音控制模塊(6)；

步驟(5)、噪音控制模塊(6)通過計算噪音能量控制參與混音，讓所有與會的音頻終端聽到噪音舒適的方法；

(5.1)、噪音控制模塊(6)接收來自噪音分類模塊(3)與噪音截斷模塊(5)的音頻流；

(5.2)、噪音控制模塊(6)接收聲音檢測模塊(9)的是否有語音的檢測結(jié)果；并累加各個音頻流的有語音的時長；

(5.3)、噪音控制模塊(6)在會議中所有的音頻流都沒有語音，則開始計算會議噪音值，會議無語音時噪音控制噪音下限n1以上，選擇正常噪音的音頻流噪音能量值進行累加，累加值超過噪音區(qū)間下限n1停止累加，參與累加的音頻流進行下一步混音，優(yōu)先選擇有語音的時間長的音頻流進行累加，會議有語音時背景噪音與無語音的噪音的一致性更強；當噪音累加值達不到下限n1時，控制白噪聲產(chǎn)生模塊(8)產(chǎn)生白噪音進行補償，白噪音的噪音能量值為n1－累加值；

(5.4)、白噪聲產(chǎn)生模塊(8)產(chǎn)生整個頻域內(nèi)均勻分布的噪聲音頻流；白噪聲產(chǎn)生模塊(8)接收噪音控制模塊(6)的控制消息，產(chǎn)生符合n1－累加值噪音能量值的音頻流；白噪聲產(chǎn)生模塊(8)把白噪音的音頻流輸出到混音模塊(7)；

(5.5)、噪音控制模塊(6)在會議中所有的音頻流有語音時，則所有有語音的音頻流參與下一步混音；

(5.6)、噪音控制模塊(6)把需要混音的音頻流輸出到混音模塊(7)；

步驟(6)、混音模塊(7)分別為所有與會音頻終端混合的聽到聲音；混音模塊(7)接收噪音控制模塊(6)與白噪聲產(chǎn)生模塊(8)的音頻流進行混音；混音模塊(7)對參與音頻流的音頻流的每采樣PCM數(shù)據(jù)進行累加，計算混音后的聲音能力值，如大于聲音閘值t h，則混音后進行按每采樣PCM數(shù)據(jù)衰減幅度為聲音閘值th除以聲音能力值的比值；混音模塊(7)把混音后的音頻流發(fā)送給音頻輸出模塊(2)；

步驟(7)、音頻輸出模塊(2)把混音的音頻流復制分發(fā)給各個音頻終端。