[發(fā)明專利]一種結(jié)合跨模態(tài)關(guān)聯(lián)關(guān)系模型的肌電信號(hào)手勢(shì)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910725778.1
• 申請(qǐng)日: 2019-08-07
• 公開（公告）號(hào): CN110443309A
• 公開（公告）日: 2019-11-12
• 發(fā)明（設(shè)計(jì)）人: 耿衛(wèi)東;胡鈺;戴青鋒
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開了一種結(jié)合跨模態(tài)關(guān)聯(lián)關(guān)系模型的肌電信號(hào)手勢(shì)識(shí)別方法，步驟如下：設(shè)計(jì)一種結(jié)合深度學(xué)習(xí)和對(duì)抗學(xué)習(xí)的跨模態(tài)關(guān)聯(lián)關(guān)系模型，并對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行優(yōu)化；將肌電信號(hào)和跨模態(tài)關(guān)聯(lián)關(guān)系模型生成的虛擬手部姿態(tài)作為輸入，設(shè)計(jì)一種基于多模態(tài)融合的手勢(shì)分類深度學(xué)習(xí)框架，并對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行優(yōu)化；將測(cè)試數(shù)據(jù)輸入到訓(xùn)練好的跨模態(tài)關(guān)聯(lián)模型中，輸出虛擬手部姿態(tài)，再由虛擬手部姿態(tài)與肌電信號(hào)輸入到訓(xùn)練好的手勢(shì)分類模型中得到手勢(shì)類別。本發(fā)明基于跨模態(tài)關(guān)聯(lián)關(guān)系模型及多模態(tài)融合的深度學(xué)習(xí)框架對(duì)手勢(shì)進(jìn)行識(shí)別。使用基于生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)關(guān)聯(lián)關(guān)系模型和多模態(tài)融合的肌電手勢(shì)識(shí)別方法能夠有效提升基于單幀的手勢(shì)識(shí)別率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)與生物信號(hào)相結(jié)合領(lǐng)域，尤其涉及一種結(jié)合跨模態(tài)關(guān)聯(lián)關(guān)系模型的肌電信號(hào)手勢(shì)識(shí)別方法。

背景技術(shù)

基于肌電的手勢(shì)識(shí)別通過分析表面肌電信號(hào)(surface electromyography,sEMG)來獲取大腦對(duì)手部運(yùn)動(dòng)的指令信號(hào)，識(shí)別出手勢(shì)使得機(jī)器能夠獲得手部運(yùn)動(dòng)意圖，進(jìn)而構(gòu)成基于表面肌電的人機(jī)交互界面。目前基于肌電的交互系統(tǒng)主要應(yīng)用于1)輔助技術(shù)，包括假肢控制、輪椅控制和輔助機(jī)器人；2)康復(fù)技術(shù)，如基于肌電的外骨骼和康復(fù)游戲；3)輸入技術(shù)，如臂環(huán)和基于肌電的人機(jī)界面；4)無聲語音識(shí)別。通過基于肌電的硬件獲取到包含肌電信號(hào)和慣性傳感單元的數(shù)據(jù)對(duì)手勢(shì)進(jìn)行識(shí)別，由人類的神經(jīng)直接向機(jī)器發(fā)出準(zhǔn)確指令，可以應(yīng)用于機(jī)器人、臨床、虛擬現(xiàn)實(shí)等研究應(yīng)用中，為人類與機(jī)器提供新型交互方式。其中肌電信號(hào)手勢(shì)識(shí)別是十分重要的基礎(chǔ)研究，能夠協(xié)助機(jī)器更加準(zhǔn)確地理解人類的身體語言及運(yùn)動(dòng)意圖。

經(jīng)典基于機(jī)器學(xué)習(xí)的方法中最終的兩個(gè)步驟為特征提取和手勢(shì)分類。特征提取由一個(gè)短時(shí)間的原始信號(hào)窗口生成額外的新信息并提升信息的密度，能夠提取出原始表面肌電信號(hào)中隱含的信息，因此需要對(duì)原始肌電信號(hào)進(jìn)行特征提取，并且在近幾十年中，特征提取在表面肌電手勢(shì)識(shí)別中占據(jù)主導(dǎo)地位。在確定最優(yōu)的特征組合即特征集后，可以將經(jīng)典的機(jī)器學(xué)習(xí)方法用于肌電手勢(shì)的分類，常用的有支持向量機(jī)、線性判別分析、K近鄰、多層感知神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林等等。

隨著基于深度學(xué)習(xí)的方法在過去幾年中獲得了較人工選擇特征更高的識(shí)別率后，越來越多的研究者加入到基于肌電信號(hào)大數(shù)據(jù)的深度學(xué)習(xí)肌電手勢(shì)識(shí)別研究中?；谏疃葘W(xué)習(xí)的肌電手勢(shì)識(shí)別目前處于起步階段，主要利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)肌電特征進(jìn)行自動(dòng)提取。逐漸地，循環(huán)神經(jīng)網(wǎng)絡(luò)等時(shí)序模型也被應(yīng)用于肌電手勢(shì)識(shí)別中。研究者們提出多模態(tài)融合的方法，將慣性測(cè)量單元、數(shù)據(jù)手套等傳感器的數(shù)據(jù)與肌電信合結(jié)合共同進(jìn)行手勢(shì)識(shí)別，能夠有效提升手勢(shì)識(shí)別準(zhǔn)確率，但是額外佩戴的傳感器會(huì)降低整個(gè)系統(tǒng)用戶使用時(shí)的體驗(yàn)。時(shí)序肌電信號(hào)與時(shí)序手部姿態(tài)數(shù)據(jù)之間存在內(nèi)在的生理學(xué)關(guān)系，因?yàn)槭謩?shì)是由特定肌電信號(hào)驅(qū)動(dòng)產(chǎn)生。但目前沒有將肌電信號(hào)與手部姿態(tài)數(shù)據(jù)關(guān)聯(lián)關(guān)系融入到手勢(shì)分類中，并且本發(fā)明將兩種模態(tài)之間的內(nèi)在關(guān)聯(lián)模型構(gòu)建出來，結(jié)合肌電信號(hào)和虛擬手部姿態(tài)數(shù)據(jù)共同進(jìn)行手勢(shì)識(shí)別，能夠在測(cè)試階段只使用肌電信號(hào)(不降低用戶體驗(yàn))的同時(shí)提高識(shí)別準(zhǔn)確率。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種結(jié)合跨模態(tài)關(guān)聯(lián)關(guān)系模型的肌電信號(hào)手勢(shì)識(shí)別方法，通過設(shè)計(jì)跨模態(tài)關(guān)聯(lián)關(guān)系模型結(jié)構(gòu)及分類模型，提高了手勢(shì)識(shí)別的準(zhǔn)確性。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種結(jié)合跨模態(tài)關(guān)聯(lián)關(guān)系模型的肌電信號(hào)手勢(shì)識(shí)別方法，包括如下步驟：

(1)獲取肌電數(shù)據(jù)及手部姿態(tài)數(shù)據(jù)，數(shù)據(jù)預(yù)處理，包括以下子步驟：

(1.1)從公開數(shù)據(jù)集NinaProDB1、NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg中獲取手勢(shì)動(dòng)作肌電信號(hào)；

(1.2)對(duì)獲取的手勢(shì)動(dòng)作肌電信號(hào)進(jìn)行濾波降噪；