[發(fā)明專利]噪聲環(huán)境下人工耳蝸信號(hào)的說話人可懂性檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711111307.9
• 申請(qǐng)日: 2017-11-10
• 公開（公告）號(hào): CN107767859B
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 林琳;孫曉穎;陳建;楊鵬;王程;王秀成;趙靜儀
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G10L15/01
• 分類號(hào): G10L15/01;G10L25/27;G10L25/45;G10L25/51;G10L15/14
• 代理公司: 吉林長春新紀(jì)元專利代理有限責(zé)任公司 22100
• 代理人: 魏征驥

1.一種噪聲環(huán)境下人工耳蝸信號(hào)的說話人可懂性檢測(cè)方法，其特征在于，包括下列步驟：

(一)人工耳蝸處理過程如下：

(1)、語音信號(hào)的預(yù)處理

語音信號(hào)的預(yù)處理包括端點(diǎn)檢測(cè)、均方根歸一化、將輸入信號(hào)采樣率調(diào)整為Fs、預(yù)加重、分幀和加窗，得到預(yù)處理后N個(gè)幀長為L的短時(shí)幀信號(hào)；

(2)、對(duì)預(yù)處理后的語音信號(hào)進(jìn)行FFT帶通濾波器組濾波，包括以下步驟：

1)對(duì)加窗的短時(shí)幀信號(hào)進(jìn)行FFT變換，計(jì)算每個(gè)短時(shí)幀頻譜S(l,i)；其中i＝1，…，N表示第i個(gè)短時(shí)幀，l表示每個(gè)短時(shí)幀第l個(gè)頻率點(diǎn)取值，l＝0,1,2,…,L-1；

2)利用Nc個(gè)通道帶通濾波器組對(duì)每個(gè)短時(shí)幀頻譜進(jìn)行濾波，保留落入相應(yīng)通道頻率范圍的頻率分量，其余頻率分量濾除；

(3)、各通道包絡(luò)提取

采用希爾伯特變換的方式，提取每個(gè)短時(shí)幀信號(hào)頻譜中的包絡(luò)，令j表示第j個(gè)通道的帶通濾波器，其中j＝1，…，Nc；q表示第j個(gè)帶通濾波器通帶內(nèi)對(duì)應(yīng)頻率節(jié)點(diǎn)的個(gè)數(shù)，則經(jīng)過FFT帶通濾波器組后得到的每個(gè)通道的包絡(luò)F(j,i)；

式中，F(xiàn)_s為信號(hào)的采樣率，c_k為通道增益系數(shù)，k＝1,2,…,Nc，滿足

其中|G(0)|表示漢寧窗經(jīng)傅里葉變換后得到直流分量的幅度值，|G(0.5)|是將漢寧窗補(bǔ)零至原來長度的兩倍后，進(jìn)行傅里葉變換得到的第二個(gè)諧波分量的幅度值，根據(jù)不同通道內(nèi)包含的頻率分量個(gè)數(shù)q的大小，由上式選擇對(duì)應(yīng)的通道增益系數(shù)，以便均衡各通道的包絡(luò)能量；

(4)、峰值選擇

從N_c個(gè)通道的包絡(luò)中選擇n個(gè)幅值最大的包絡(luò)值來表示產(chǎn)生電刺激的電極點(diǎn)，并利用Id來記錄n個(gè)幅值最大通道的通道號(hào)，A_mc表示n個(gè)幅值最大通道對(duì)應(yīng)的包絡(luò)；

(5)、幅度壓縮

對(duì)于被選中作為產(chǎn)生電刺激的電極通道而言，需要計(jì)算各通道電極的刺激脈沖時(shí)間，并對(duì)其振幅信號(hào)A_mc進(jìn)行幅值壓縮處理，以滿足電刺激的動(dòng)態(tài)范圍，最終得到刺激電極上交叉脈沖刺激序列的電流幅度I_m，m＝1,2,…,n，這里，電極是由底至頂?shù)捻樞虍a(chǎn)生刺激信號(hào)；

(6)、語音波形重構(gòu)

(1)輸入幅度壓縮后的刺激電極上交叉脈沖刺激序列的電流幅度信號(hào)I_m；

(2)使用截止頻率為L_s的低通濾波器估計(jì)每個(gè)通道的包絡(luò)A_L；

(3)利用人工耳蝸處理算法過程中的FFT濾波器，對(duì)隨機(jī)白噪聲信號(hào)進(jìn)行頻域?yàn)V波；

(4)用白噪聲信號(hào)頻域?yàn)V波后的信號(hào)對(duì)幅度壓縮后各通道的包絡(luò)進(jìn)行調(diào)制；

(5)將每個(gè)通道的信號(hào)轉(zhuǎn)變?yōu)闀r(shí)域函數(shù)，然后重疊相加所有通道的信號(hào)，最終得到經(jīng)過人工耳蝸處理后的語音信號(hào)；

(二)特定說話人的語音建模方法

包括下列步驟：

(1)、輸入純凈訓(xùn)練語音信號(hào)，經(jīng)過上述步驟(一)人工耳蝸處理，得到純凈訓(xùn)練語音經(jīng)人工耳蝸處理后的重構(gòu)語音CleanCI；

(2)、提取步驟(1)產(chǎn)生的語音信號(hào)CleanCI的短時(shí)譜參數(shù)，得到CleanCI語音信號(hào)的短時(shí)譜參數(shù)F_CleanCI；

(3)、特征提取算法步驟：首先將語音信號(hào)通過動(dòng)態(tài)Gammachirp濾波器組，在每個(gè)頻率通道中計(jì)算包絡(luò)，然后以100Hz的采樣率采樣，利用對(duì)數(shù)log函數(shù)進(jìn)行壓縮，取其離散余弦變換，最終得到短時(shí)譜參數(shù)F_CleanCI；

(4)、計(jì)算短時(shí)譜參數(shù)F_CleanCI一階動(dòng)態(tài)參數(shù)△F_CleanCI，并形成組合特征參數(shù)FD_CleanCI＝[F_CleanCI△F_CleanCI]；

(5)、利用所有參考說話人的特征參數(shù)FD_clean訓(xùn)練與說話人無關(guān)的隱馬爾科夫語音模型，作為說話人獨(dú)立的背景模型SI；

(6)、利用背景模型SI和每個(gè)參考說話人特征參數(shù)FD_{clean_w},其中w＝1,2,...,N_w,這里N_w是參考說話人個(gè)數(shù)，采用Baum-Welch算法對(duì)每一個(gè)參考說話人的每個(gè)關(guān)鍵詞建立隱馬爾科夫模型(hidden Markov models，HMMs)λ_wb，其中b表示關(guān)鍵詞序號(hào)，b＝1,2,..N_b在每個(gè)詞的HMMs模型λ_wb中，每個(gè)音素使用兩個(gè)狀態(tài)表示，不同關(guān)鍵詞模型λ_wb中狀態(tài)的個(gè)數(shù)直接由關(guān)鍵詞包含的音素個(gè)數(shù)決定，每個(gè)狀態(tài)有兩個(gè)轉(zhuǎn)移特性，自轉(zhuǎn)移和到邊界狀態(tài)的轉(zhuǎn)移，每個(gè)狀態(tài)由M_h個(gè)混合度的高斯混合模型構(gòu)成，高斯混合模型的協(xié)方差矩陣采用對(duì)角陣，所有的模型狀態(tài)都由一個(gè)單高斯模型初始化，然后混合度自適應(yīng)變成2、3、4、5個(gè)，直到最后得到M_h個(gè)混合度的高斯混合模型GMM；

(三)說話人可懂度檢測(cè)方法

(1)、輸入純凈識(shí)別語音，加入噪聲信號(hào)，按照信噪比SNR的要求，得到不同信噪比條件下的帶噪識(shí)別語音；

(2)、分別將純凈識(shí)別語音和帶噪識(shí)別語音進(jìn)行人工耳蝸處理算法處理，得到純凈識(shí)別語音經(jīng)人工耳蝸處理后的重構(gòu)語音RCleanCI和加入噪聲后的人工耳蝸語音信號(hào)RNoisyCI；

(3)、分別提取前一步驟(2)產(chǎn)生的語音信號(hào)RNoisyCI和RCleanCI的短時(shí)譜參數(shù)RF_NoisyCI和RF_CleanCI；

(4)、可靠小區(qū)域塊檢測(cè)

1)分別短時(shí)譜參數(shù)RF_NoisyCI和RF_CleanCI計(jì)算每個(gè)時(shí)頻單元的局部信噪比，分別得到SNR(t,f)，這里t表示時(shí)間，f表示頻率；

2)計(jì)算掩碼IRM(t,f)

這里，β是一個(gè)衡量掩碼的可調(diào)參數(shù)；

3)確定時(shí)頻單元中可靠的時(shí)頻單元點(diǎn)；

設(shè)置相應(yīng)的閾值T，比較每個(gè)時(shí)頻單元掩碼與閾值T之間的大小，如果對(duì)應(yīng)時(shí)頻單元點(diǎn)的值大于閾值T，則認(rèn)為該時(shí)頻單元點(diǎn)為可靠的，用“1”進(jìn)行標(biāo)注，否則標(biāo)記“0”；

4)確定可靠的小區(qū)域塊；

如果某個(gè)區(qū)域塊中包含的可靠時(shí)頻單元點(diǎn)數(shù)大于設(shè)定的M點(diǎn)，則認(rèn)為該區(qū)域就是可靠的小區(qū)域塊，否則該區(qū)域?yàn)檠诒螀^(qū)域，利用這個(gè)原則，對(duì)標(biāo)注的時(shí)頻單元Mask(t,f)進(jìn)行分析，得到經(jīng)過CI處理后帶噪語音時(shí)頻單元中可靠的小區(qū)域塊G_c，c＝1,2,…,C，其中C表示可靠小區(qū)域的個(gè)數(shù)；

(5)、利用短時(shí)譜參數(shù)RF_NoisyCI計(jì)算其一階動(dòng)態(tài)參數(shù)△RF_NoisyCI，并形成組合參數(shù)RFD_NoisyCI＝[F_NoisyCI△F_NoisyCI]；

(6)、對(duì)于每一個(gè)參考說話人的識(shí)別語音，根據(jù)上述確定的可靠小區(qū)域塊以及掩蔽區(qū)域，采用基于缺失數(shù)據(jù)特征的識(shí)別方法進(jìn)行識(shí)別；

其中iw∈[1,N_w],ib∈[1,N_b]；

根據(jù)公式(6)得到的識(shí)別結(jié)果，統(tǒng)計(jì)每一個(gè)說話人每句話關(guān)鍵詞識(shí)別的識(shí)別率，作為每個(gè)說話人可懂度的檢測(cè)結(jié)果；

(7)、在實(shí)際的聽力測(cè)試中，對(duì)每一條識(shí)別語音，聽力測(cè)試者需要記錄對(duì)應(yīng)的語音是哪個(gè)說話人的第幾個(gè)關(guān)鍵詞，然后按照公式(7)的標(biāo)準(zhǔn)進(jìn)行統(tǒng)計(jì)計(jì)算，得到每個(gè)說話人可懂度的檢測(cè)結(jié)果，與理論檢測(cè)結(jié)果比對(duì)，驗(yàn)證計(jì)算有效性。

2.根據(jù)權(quán)利要求1所述的一種噪聲環(huán)境下人工耳蝸信號(hào)的說話人可懂性檢測(cè)方法，其特征在于：步驟(三)說話人可懂度檢測(cè)方法中(6)、采用基于缺失數(shù)據(jù)特征的識(shí)別方法進(jìn)行識(shí)別的方法是：采用邊緣化算法，完全忽略不可靠的組合參數(shù)，用可靠的組合參數(shù)RFD_{NoisyCI_r}進(jìn)行識(shí)別，則利用Viterbi算法估計(jì)后驗(yàn)概率f(RFD_NoisyCI|λ_wb)＝f(RFD_{NoisyCI_r}|λ_wb)，找到最大后驗(yàn)概率對(duì)應(yīng)的關(guān)鍵詞模型作為識(shí)別結(jié)果，iw和ib分別指的是識(shí)別語音被識(shí)別為說話人iw的第ib個(gè)關(guān)鍵詞。