[發(fā)明專利]一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法

在審

• 申請?zhí)枺?/td>: 202111273722.0
• 申請日: 2021-10-29
• 公開（公告）號: CN113988135A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 郭劍;周楊;魯捷敏;韓嘉琛;何玉鵬;楊琳;姚敏;褚萍萍;韓崇;王娟
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F3/01;G06N3/04;G06N3/08;A61B5/397
• 代理公司: 南京正聯(lián)知識產(chǎn)權(quán)代理有限公司 32243
• 代理人: 張玉紅

1.一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：所述方法包括如下步驟：

步驟1：獲取肌電信號數(shù)據(jù)；通過采集電極設(shè)備，記錄人體在完成手勢動作時對應(yīng)的肌電信號數(shù)據(jù)；

步驟2：數(shù)據(jù)預(yù)處理；

步驟3：構(gòu)建網(wǎng)絡(luò)模型，用于特征提取與手勢分類；該網(wǎng)絡(luò)模型主要包含2個分支網(wǎng)絡(luò)模塊和1個投票機(jī)制模塊；

步驟4：使用采集數(shù)據(jù)對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得最佳的模型參數(shù)；

步驟5：應(yīng)用模型；向網(wǎng)絡(luò)模型輸入所需識別的肌電信號，模型輸出手勢識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：步驟1中，通過采集電極設(shè)備，以設(shè)定的采樣率使用肌電信號采集設(shè)備對受測個體進(jìn)行數(shù)據(jù)采集，采集電極設(shè)備的貼片電極分散地放置于受測個體的手背表面。

3.根據(jù)權(quán)利要求1所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：步驟2的預(yù)處理包括如下分步驟：

步驟2.1，在采集獲得的原始肌電數(shù)據(jù)中選取一定時間長度的穩(wěn)態(tài)數(shù)據(jù)作為有效數(shù)據(jù)，并進(jìn)行濾波和去噪處理；

步驟2.2，使用滑動窗口方法對各貼片電極采集到的對應(yīng)各通道數(shù)據(jù)進(jìn)行切分，將同一時間片段內(nèi)的各通道數(shù)據(jù)放入同一個集合，并貼上對應(yīng)的手勢動作標(biāo)簽，將每一個集合-標(biāo)簽對象作為一個單獨數(shù)據(jù)樣本；

步驟2.3，將步驟2.2處理后的全部數(shù)據(jù)樣本劃分為訓(xùn)練集和測試集。

4.根據(jù)權(quán)利要求1所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：步驟3包括如下分步驟：

步驟3.1，構(gòu)建分支網(wǎng)絡(luò)模塊，包括分支網(wǎng)絡(luò)1和分支網(wǎng)絡(luò)2；分支網(wǎng)絡(luò)1從局部角度分析每一處肌肉與手勢的關(guān)聯(lián)性，包含多個并行的網(wǎng)絡(luò)流、特征融合層、多個全連接層和分類器；每個網(wǎng)絡(luò)流由多個卷積層和1個長短時記憶LSTM層構(gòu)成；

分支網(wǎng)絡(luò)2從整體角度分析肌電數(shù)據(jù)與手勢的關(guān)聯(lián)性，包含多個卷積層、多個全連接層和分類器；

步驟3.2，構(gòu)建投票機(jī)制模塊；該模塊接收2個分支網(wǎng)絡(luò)模塊的輸出，再使用投票機(jī)制計算最終的手勢識別結(jié)果并輸出。

5.根據(jù)權(quán)利要求4所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：所述分支網(wǎng)絡(luò)1的手勢識別過程為：首先，將步驟2.2獲得的數(shù)據(jù)樣本作為網(wǎng)絡(luò)的標(biāo)準(zhǔn)輸入，將其包含的各通道數(shù)據(jù)分別對應(yīng)地輸入進(jìn)各個網(wǎng)絡(luò)流；然后，使用特征融合層將各個網(wǎng)絡(luò)流輸出的特征進(jìn)行合并，再輸入進(jìn)全連接層進(jìn)行維度變換；最終，由分類器接收全連接層輸出的特征，再根據(jù)特征進(jìn)行手勢分類，進(jìn)而輸出識別結(jié)果。

6.根據(jù)權(quán)利要求4所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：所述分支網(wǎng)絡(luò)2的手勢識別過程為：首先，將步驟2.2獲得的數(shù)據(jù)樣本中的各通道數(shù)據(jù)通過特征融合層合并為一個整體，作為網(wǎng)絡(luò)的標(biāo)準(zhǔn)輸入；然后，原始輸入依次經(jīng)過卷積層的特征提取和全連接層的維度變換，再被輸入進(jìn)分類器；最終，由分類器根據(jù)特征信息輸出手勢識別結(jié)果。

7.根據(jù)權(quán)利要求1所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：所述投票機(jī)制模塊接收2個分支網(wǎng)絡(luò)模塊的分類器輸出，其輸出格式為一個含有K個實數(shù)的向量，K個實數(shù)對應(yīng)采集時的K種手勢的可能性大小，值介于0到1之間，總和為1，標(biāo)記為S(i)，表示第i種手勢的可能性大?。皇褂猛镀睓C(jī)制結(jié)合兩個分支網(wǎng)絡(luò)的輸出來確定最終結(jié)果，其計算公式為：

其中j代表分支網(wǎng)絡(luò)的編號,S_j(i)代表第j個分支網(wǎng)絡(luò)輸出的第i種手勢的可能性大小，a_j代表第j個分支網(wǎng)絡(luò)的權(quán)重系數(shù)，probability(i)是經(jīng)過計算后的第i種手勢最終的可能性概率；將K個概率中最大的一項所對應(yīng)的手勢作為最終輸出結(jié)果，記作g_final，則

probability(g_final)＝max(probability(i),i＝1…K)。

8.根據(jù)權(quán)利要求1所述的一種基于雙分支多流網(wǎng)絡(luò)的肌電信號手勢識別方法，其特征在于：所述步驟4中包括如下分步驟：

步驟4.1：利用步驟2.3中得到的訓(xùn)練集單獨訓(xùn)練兩個分支網(wǎng)絡(luò)，并通過測試集判斷兩個分支網(wǎng)絡(luò)的識別性能，逐層確定最優(yōu)參數(shù)，獲得識別性能最佳的網(wǎng)絡(luò)模型，并保存其對應(yīng)參數(shù)；

步驟4.2：訓(xùn)練投票機(jī)制模塊，確定最優(yōu)權(quán)重系數(shù)。