[發(fā)明專(zhuān)利]一種融合肌電和微慣性測(cè)量單元多模態(tài)信號(hào)的手勢(shì)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110595989.5
• 申請(qǐng)日: 2021-05-29
• 公開(kāi)（公告）號(hào): CN113205074B
• 公開(kāi)（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 耿衛(wèi)東;金文光;厲向東;梁秀波;戴青鋒;朱俊威;毋從周;韓晨晨;周洲;姬源智;劉帥
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06V40/10
• 分類(lèi)號(hào): G06V40/10;G06K9/62;G06N3/04;G06N3/08;G06K9/00;G06V10/80;G06V10/82
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種融合肌電和微慣性測(cè)量單元多模態(tài)信號(hào)的手勢(shì)識(shí)別方法，其特征在于，包括如下步驟：

(1)獲取肌電和微慣性測(cè)量單元數(shù)據(jù)，數(shù)據(jù)預(yù)處理，包括以下子步驟：

(1.1)被試按照預(yù)設(shè)的手勢(shì)順序做出相應(yīng)的手勢(shì)，通過(guò)肌電電極和微慣性測(cè)量單元采集若干被試的若干手勢(shì)動(dòng)作的肌電數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)，采集的運(yùn)動(dòng)數(shù)據(jù)包括加速度、陀螺儀和磁力計(jì)數(shù)據(jù)，一個(gè)手勢(shì)動(dòng)作的若干次重復(fù)對(duì)應(yīng)一個(gè)數(shù)據(jù)文件，在數(shù)據(jù)文件中存儲(chǔ)對(duì)應(yīng)的手勢(shì)標(biāo)簽；

(1.2)對(duì)采集的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行上采樣，使得加速度、陀螺儀和磁力計(jì)的采樣率達(dá)到與肌電數(shù)據(jù)一致的采樣率；

(2)進(jìn)行訓(xùn)練集和測(cè)試集的劃分，包括以下子步驟：

(2.1)根據(jù)數(shù)據(jù)文件中的手勢(shì)標(biāo)簽，將每個(gè)數(shù)據(jù)文件分割為若干個(gè)信號(hào)段，每個(gè)信號(hào)段對(duì)應(yīng)一次手勢(shì)動(dòng)作重復(fù)；

(2.2)按照被試內(nèi)評(píng)估或被試間評(píng)估方法，將手勢(shì)的多次動(dòng)作重復(fù)分別劃分到訓(xùn)練集和測(cè)試集中；

(3)信號(hào)分割和信號(hào)特征提取，包括以下子步驟：

(3.1)用滑動(dòng)窗口將每個(gè)信號(hào)段分割為多個(gè)固定長(zhǎng)度的子信號(hào)段；

(3.2)對(duì)每個(gè)窗口內(nèi)的定長(zhǎng)子信號(hào)段中的肌電數(shù)據(jù)的每個(gè)通道進(jìn)行特征提取，提取多種時(shí)域、頻域的肌電特征；

(3.3)對(duì)每個(gè)窗口內(nèi)的定長(zhǎng)子信號(hào)段中的運(yùn)動(dòng)數(shù)據(jù)的每個(gè)通道進(jìn)行特征提取，提取多種時(shí)域、頻域的運(yùn)動(dòng)特征；

(4)融合肌電特征和運(yùn)動(dòng)特征的手勢(shì)識(shí)別，包括以下子步驟：

(4.1)采用多視圖深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)，為肌電特征和運(yùn)動(dòng)特征分別設(shè)計(jì)一個(gè)用于提取淺層特征和深層特征的卷積神經(jīng)網(wǎng)絡(luò)的分支；每個(gè)分支的卷積神經(jīng)網(wǎng)絡(luò)包含2層卷積層，后接2層局部連接層和1層全連接層；

(4.2)將步驟(4.1)的每個(gè)分支在第1層卷積層后提取淺層特征，在最后1層全連接層后提取深層特征；將兩個(gè)分支的淺層特征和深層特征分別進(jìn)行融合，得到融合后的淺層、深層多模態(tài)信號(hào)特征；

(4.3)將融合后的淺層、深層多模態(tài)信號(hào)特征分別輸入由1層全連接層、1層G-way全連接層和Softmax層構(gòu)成的分類(lèi)網(wǎng)絡(luò)，再進(jìn)行決策層融合，輸出每一手勢(shì)類(lèi)別的概率；

(4.4)兩個(gè)分支和分類(lèi)網(wǎng)絡(luò)共同構(gòu)成手勢(shì)識(shí)別模型，訓(xùn)練過(guò)程中將每個(gè)子信號(hào)段提取的肌電特征和運(yùn)動(dòng)特征作為模型的輸入，對(duì)兩個(gè)分支和分類(lèi)網(wǎng)絡(luò)的參數(shù)進(jìn)行聯(lián)合優(yōu)化，得到最優(yōu)的模型參數(shù)；

(4.5)將測(cè)試集中每個(gè)子信號(hào)段提取的肌電特征和運(yùn)動(dòng)特征作為步驟(4.4)訓(xùn)練好的手勢(shì)識(shí)別模型的輸入，輸出手勢(shì)識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述一種融合肌電和微慣性測(cè)量單元多模態(tài)信號(hào)的手勢(shì)識(shí)別方法，其特征在于，所述步驟(1.1)中，通過(guò)肌電電極采集肌電數(shù)據(jù)的采樣率為200Hz，通過(guò)微慣性測(cè)量單元采集的運(yùn)動(dòng)數(shù)據(jù)包括加速度、陀螺儀和磁力計(jì)數(shù)據(jù)，采樣率分別為50Hz、50Hz和13.3Hz；采集過(guò)程中對(duì)于每個(gè)手勢(shì)動(dòng)作，被試都被要求重復(fù)3次，每?jī)纱沃貜?fù)之間都需要保持休息手勢(shì)一段時(shí)間。

3.根據(jù)權(quán)利要求1所述一種融合肌電和微慣性測(cè)量單元多模態(tài)信號(hào)的手勢(shì)識(shí)別方法，其特征在于，所述步驟(1.2)中，對(duì)運(yùn)動(dòng)數(shù)據(jù)通過(guò)線性插值實(shí)現(xiàn)上采樣，使得加速度、陀螺儀和磁力計(jì)的采樣率達(dá)到與肌電數(shù)據(jù)一致的采樣率。

4.根據(jù)權(quán)利要求1所述一種融合肌電和微慣性測(cè)量單元多模態(tài)信號(hào)的手勢(shì)識(shí)別方法，其特征在于，所述步驟(2.1)中，訓(xùn)練集和測(cè)試集的劃分使用被試內(nèi)評(píng)估，將每個(gè)被試的第1和第3次動(dòng)作重復(fù)作為訓(xùn)練數(shù)據(jù)，第2次動(dòng)作重復(fù)作為測(cè)試數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述一種融合肌電和微慣性測(cè)量單元多模態(tài)信號(hào)的手勢(shì)識(shí)別方法，其特征在于，所述步驟(3.1)中，采用了多種配置的滑動(dòng)窗口長(zhǎng)度和滑動(dòng)步長(zhǎng)，其中滑動(dòng)窗口長(zhǎng)度為100ms或150ms或200ms，滑動(dòng)步長(zhǎng)保持為5ms。