[發(fā)明專利]基于編解碼器架構(gòu)與遞歸神經(jīng)網(wǎng)絡(luò)的骨導(dǎo)語音盲增強(qiáng)方法

有效

• 申請?zhí)枺?/td>: 201810960512.0
• 申請日: 2018-08-22
• 公開（公告）號: CN108986834B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 張雄偉;單東晶;鄭昌艷;曹鐵勇;李莉;楊吉斌
• 申請（專利權(quán)）人: 中國人民解放軍陸軍工程大學(xué)
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L19/005;G10L25/30;G06N3/0442;G06N3/0455;G06N3/08
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 唐代盛

1.一種基于編解碼器架構(gòu)與遞歸神經(jīng)網(wǎng)絡(luò)的骨導(dǎo)語音盲增強(qiáng)方法，其特征在于如下步驟：

數(shù)據(jù)預(yù)處理：提取氣導(dǎo)AC和骨導(dǎo)BC語音幅度譜特征，對提取的語音特征數(shù)據(jù)進(jìn)行對齊預(yù)處理，并在氣導(dǎo)語音特征數(shù)據(jù)上使用稀疏非負(fù)矩陣分解計(jì)算出氣導(dǎo)語音字典；

編碼器的預(yù)訓(xùn)練：以骨導(dǎo)語音特征作為訓(xùn)練輸入，以氣導(dǎo)語音字典組合系數(shù)作為訓(xùn)練目標(biāo)，采用非負(fù)、稀疏長短時記憶遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練編碼器模型，并存儲訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)參數(shù)，作為下一步驟中編碼器的初始化參數(shù)；

編解碼器的聯(lián)合訓(xùn)練：構(gòu)建基于局部注意力機(jī)制的解碼器模型，以編碼器輸出作為解碼器的輸入，以氣導(dǎo)語音特征為訓(xùn)練目標(biāo)，聯(lián)合訓(xùn)練編解碼器模型，并存儲模型參數(shù)；

語音增強(qiáng)：提取待增強(qiáng)的骨導(dǎo)語音特征，利用上述步驟中訓(xùn)練好的編解碼神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)特征轉(zhuǎn)換，再對神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行反歸一化和特征逆變換，最終得到增強(qiáng)后的時域語音。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于提取氣導(dǎo)和骨導(dǎo)語音幅度譜特征，并對提取的語音特征進(jìn)行數(shù)據(jù)預(yù)處理以符合神經(jīng)網(wǎng)絡(luò)的輸入需求，其中為了縮小提取的幅度譜特征的動態(tài)范圍，采用對數(shù)幅度譜特征：

(1)語音數(shù)據(jù)是由同一個人同時佩戴AC與BC麥克風(fēng)設(shè)備錄制的AC與BC語音對，AC語音表示為A，BC語音表示為B，利用短時傅里葉變換分別將AC與BC語音時域信號y(A)、y(B)分別變換到時頻域，具體步驟為：

①對語音時域信號y(A)、y(B)分別進(jìn)行分幀加窗處理，窗函數(shù)為漢明窗，幀長為N，N取為2的整數(shù)次冪，幀間移動長度為H；

②對分幀后的語音幀進(jìn)行K點(diǎn)離散傅里葉變換，獲得語音的時頻譜Y_A(k,t)、Y_B(k,t)，計(jì)算公式如下：

其中，k＝0,1,…,K-1表示離散頻率點(diǎn)，K表示離散傅里葉變換時的頻率點(diǎn)數(shù)，K＝N，t＝0,1,…,T-1表示幀序號，T為分幀的總幀數(shù)，h(n)為漢明窗函數(shù)；

(2)對頻譜Y(k,t)取絕對值，計(jì)算得到幅度譜M_A、M_B，計(jì)算公式如下：

M(k,t)＝|Y(k,t)|

(3)對幅度譜M(k,t)取以e為底的對數(shù)(ln)，得到對數(shù)幅度譜L_A、L_B，計(jì)算公式如下：

L(k,t)＝lnM(k,t)

(4)采用稀疏非負(fù)矩陣分解在純凈氣導(dǎo)語音對數(shù)幅度譜特征矩陣上計(jì)算出氣導(dǎo)語音字典D。