[發(fā)明專利]一種基于面頸部表面肌電的無(wú)聲語(yǔ)音識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110552597.0
• 申請(qǐng)日: 2021-05-20
• 公開(kāi)（公告）號(hào): CN113288183B
• 公開(kāi)（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 張旭;鄧志航;陳希;陳香;陳勛
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): A61B5/397
• 分類號(hào): A61B5/397;G10L15/22;G10L15/06;G10L15/16
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于面頸部表面肌電的無(wú)聲語(yǔ)音識(shí)別方法，其特征在于，包括以下步驟：

步驟一、使用高密度電極陣列采集用戶無(wú)聲表達(dá)各單詞時(shí)所產(chǎn)生的表面肌電信號(hào)；再利用所述高密度電極陣列中變化趨勢(shì)較大且信噪比較高的m個(gè)通道對(duì)任一單詞所對(duì)應(yīng)的所有表面肌電信號(hào)進(jìn)行數(shù)據(jù)分段，從而提取出表征相應(yīng)單詞肌肉活動(dòng)的多個(gè)有效肌電數(shù)據(jù)樣本；然后按照所述高密度電極陣列中各個(gè)通道間的位置關(guān)系，對(duì)每個(gè)有效肌電數(shù)據(jù)樣本進(jìn)行通道重排列；對(duì)重排列后的肌電數(shù)據(jù)樣本均進(jìn)行滑窗，并對(duì)處于每個(gè)滑窗內(nèi)的肌電數(shù)據(jù)均提取多個(gè)肌電特征，從而得到一個(gè)樣本的多個(gè)二維肌電特征矩陣，并拼接成高密度表面肌電圖像即sEMG圖像；進(jìn)而得到相應(yīng)單詞的所有樣本所對(duì)應(yīng)的高密度sEMG圖像；最終得到各單詞的所有樣本的高密度sEMG圖像集所構(gòu)成的源域數(shù)據(jù)庫(kù)；

步驟二、利用分立電極采集相同用戶無(wú)聲表達(dá)相同單詞時(shí)所產(chǎn)生的表面肌電信號(hào)，并按照步驟一的過(guò)程進(jìn)行處理，從而得到通道稀疏的sEMG圖像集并構(gòu)建目標(biāo)域數(shù)據(jù)庫(kù)；

步驟三、構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)CNN的單詞分類深度神經(jīng)網(wǎng)絡(luò)；

所述單詞分類深度神經(jīng)網(wǎng)絡(luò)是由n個(gè)卷積-池化塊、壓平層、k個(gè)全連接層和softmax層構(gòu)成；

每個(gè)卷積-池化塊包括一個(gè)卷積層，一個(gè)激活層和一個(gè)池化層；且所述激活層中采用ReLU激活函數(shù)進(jìn)行處理；

第n個(gè)卷積-池化塊的輸出通過(guò)壓平層平展成一維向量，并輸入到k個(gè)全連接層中，最后通過(guò)隱含單元數(shù)與單詞類別數(shù)相等的softmax層輸出分類結(jié)果；所述全連接層的激活函數(shù)選擇Tanh函數(shù)；

步驟四、基于源域數(shù)據(jù)庫(kù)的高密度sEMG圖像，選擇Adam作為網(wǎng)絡(luò)訓(xùn)練的優(yōu)化器，并利用有監(jiān)督學(xué)習(xí)方式訓(xùn)練所述單詞分類深度神經(jīng)網(wǎng)絡(luò)，從而得到訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)；

步驟五、使用遷移學(xué)習(xí)方法對(duì)訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)進(jìn)行校準(zhǔn)；

步驟5.1、獲取所述訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)權(quán)重；

步驟5.2、根據(jù)分立電極在所述高密度電極陣列中的空間分布信息，將高密度sEMG圖像中對(duì)應(yīng)分立電極通道的數(shù)據(jù)替換為相應(yīng)通道稀疏的sEMG圖像的數(shù)據(jù)，其他通道的數(shù)據(jù)舍棄并以補(bǔ)零填充，從而完成遷移，并得到目標(biāo)域數(shù)據(jù)庫(kù)的校準(zhǔn)集；

步驟5.3、使用所述目標(biāo)域數(shù)據(jù)庫(kù)的校準(zhǔn)集對(duì)訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練，更新網(wǎng)絡(luò)權(quán)重，從而得到校準(zhǔn)后的單詞分類深度神經(jīng)網(wǎng)絡(luò)；

步驟六、使用校準(zhǔn)后的單詞分類深度神經(jīng)網(wǎng)絡(luò)對(duì)相同用戶使用分立電極采集的表面肌電信號(hào)進(jìn)行無(wú)聲語(yǔ)音指令的識(shí)別。

2.一種基于面頸部表面肌電的無(wú)聲語(yǔ)音識(shí)別方法，其特征在于，

步驟一、使用高密度電極陣列采集多個(gè)不同用戶無(wú)聲表達(dá)各單詞時(shí)所產(chǎn)生的表面肌電信號(hào)；再利用所述高密度電極陣列中變化趨勢(shì)較大且信噪比較高的m個(gè)通道對(duì)任一單詞所對(duì)應(yīng)的所有表面肌電信號(hào)進(jìn)行數(shù)據(jù)分段，從而提取出表征相應(yīng)單詞肌肉活動(dòng)的多個(gè)有效肌電數(shù)據(jù)樣本；然后按照所述高密度電極陣列中各個(gè)通道間的位置關(guān)系，對(duì)每個(gè)有效肌電數(shù)據(jù)樣本進(jìn)行通道重排列；對(duì)重排列后的肌電數(shù)據(jù)樣本均進(jìn)行滑窗，并對(duì)處于每個(gè)滑窗內(nèi)的肌電數(shù)據(jù)均提取多個(gè)肌電特征，從而得到一個(gè)樣本的多個(gè)二維肌電特征矩陣，并拼接成高密度表面肌電圖像即sEMG圖像；進(jìn)而得到相應(yīng)單詞的所有樣本所對(duì)應(yīng)的高密度sEMG圖像；最終得到各單詞的所有樣本的高密度sEMG圖像集所構(gòu)成的源域數(shù)據(jù)庫(kù)；

步驟二、利用分立電極采集一個(gè)新用戶無(wú)聲表達(dá)相同單詞時(shí)所產(chǎn)生的表面肌電信號(hào)，并按照步驟一的過(guò)程進(jìn)行處理，從而得到通道稀疏的sEMG圖像集并構(gòu)建目標(biāo)域數(shù)據(jù)庫(kù)；

步驟三、構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)CNN的單詞分類深度神經(jīng)網(wǎng)絡(luò)；

所述單詞分類深度神經(jīng)網(wǎng)絡(luò)是由n個(gè)卷積-池化塊、壓平層、k個(gè)全連接層和softmax層構(gòu)成；

每個(gè)卷積-池化塊包括一個(gè)卷積層，一個(gè)激活層和一個(gè)池化層；且所述激活層中采用ReLU激活函數(shù)進(jìn)行處理；

第n個(gè)卷積-池化塊的輸出通過(guò)壓平層平展成一維向量，并輸入到k個(gè)全連接層中，最后通過(guò)隱含單元數(shù)與單詞類別數(shù)相等的softmax層輸出分類結(jié)果；所述全連接層的激活函數(shù)選擇Tanh函數(shù)；

步驟四、基于源域數(shù)據(jù)庫(kù)的高密度sEMG圖像，選擇Adam作為網(wǎng)絡(luò)訓(xùn)練的優(yōu)化器，并利用有監(jiān)督學(xué)習(xí)方式訓(xùn)練所述單詞分類深度神經(jīng)網(wǎng)絡(luò)，從而得到訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)；

步驟五、使用遷移學(xué)習(xí)方法對(duì)訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)進(jìn)行校準(zhǔn)；

步驟5.1、獲取所述訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)權(quán)重；

步驟5.2、根據(jù)分立電極在所述高密度電極陣列中的空間分布信息，將高密度sEMG圖像中對(duì)應(yīng)分立電極通道的數(shù)據(jù)替換為相應(yīng)通道稀疏的sEMG圖像的數(shù)據(jù)，其他通道的數(shù)據(jù)舍棄并以補(bǔ)零填充，從而完成遷移，并得到目標(biāo)域數(shù)據(jù)庫(kù)的校準(zhǔn)集；

步驟5.3、使用所述目標(biāo)域數(shù)據(jù)庫(kù)的校準(zhǔn)集對(duì)訓(xùn)練后的單詞分類深度神經(jīng)網(wǎng)絡(luò)進(jìn)行再訓(xùn)練，更新網(wǎng)絡(luò)權(quán)重，從而得到校準(zhǔn)后的單詞分類深度神經(jīng)網(wǎng)絡(luò)；

步驟六、使用校準(zhǔn)后的單詞分類深度神經(jīng)網(wǎng)絡(luò)對(duì)所述新用戶使用分立電極采集的表面肌電信號(hào)進(jìn)行無(wú)聲語(yǔ)音指令的識(shí)別。