[發(fā)明專利]融合眼動(dòng)方向分類和增強(qiáng)現(xiàn)實(shí)技術(shù)的手功能康復(fù)訓(xùn)練系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210524747.1
• 申請(qǐng)日: 2022-05-13
• 公開（公告）號(hào): CN114864044A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 楊幫華;莊皓東
• 申請(qǐng)（專利權(quán)）人: 上海韶腦傳感技術(shù)有限公司;上海大學(xué)
• 主分類號(hào): G16H20/30
• 分類號(hào): G16H20/30;G06K9/00;G06N3/04;A61B5/369;A61B5/398
• 代理公司: 上海牧信專利代理事務(wù)所(普通合伙) 31416
• 代理人: 馬俊

本發(fā)明公開了一種融合眼動(dòng)方向分類和增強(qiáng)現(xiàn)實(shí)技術(shù)的手功能康復(fù)訓(xùn)練系統(tǒng)，其包括腦電采集設(shè)備、數(shù)據(jù)解析模塊、數(shù)據(jù)預(yù)處理模塊、卷積神經(jīng)網(wǎng)絡(luò)模塊、手功能康復(fù)模塊，腦電采集設(shè)備獲取患者眼球運(yùn)動(dòng)相關(guān)通道的原始腦電信號(hào)，數(shù)據(jù)解析模塊接收腦電信號(hào)并解析為數(shù)據(jù)格式可處理的腦電信號(hào)，數(shù)據(jù)預(yù)處理模塊對(duì)腦電信號(hào)進(jìn)行預(yù)處理，卷積神經(jīng)網(wǎng)絡(luò)模塊接收預(yù)處理后的腦電信號(hào)并進(jìn)行模型訓(xùn)練和測(cè)試，得到分類結(jié)果后將分類結(jié)果作為與手功能康復(fù)模塊交互的指令。本發(fā)明將增強(qiáng)現(xiàn)實(shí)和眼動(dòng)識(shí)別技術(shù)相結(jié)合，帶給腦卒中患者更加舒適的康復(fù)體驗(yàn)，滿足患者的交互需求，提高患者參與康復(fù)的積極性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種手功能康復(fù)訓(xùn)練系統(tǒng)，特別是涉及一種融合眼動(dòng)方向分類和增強(qiáng)現(xiàn)實(shí)技術(shù)的手功能康復(fù)訓(xùn)練系統(tǒng)。

背景技術(shù)

隨著我國(guó)人口的老齡化，腦卒中發(fā)病率日益增加，患者的日常行為活動(dòng)受到嚴(yán)重影響，主要臨床表現(xiàn)為難以完成抓、握、對(duì)指等基本手部動(dòng)作。為了更加有效的促進(jìn)腦卒中患者的手功能康復(fù)，基于腦機(jī)接口(Brain-Computer Interface,BCI)技術(shù)的康復(fù)訓(xùn)練系統(tǒng)應(yīng)運(yùn)而生，并且越來(lái)越廣泛得應(yīng)用于臨床治療。

但是處于康復(fù)初期的患者以臥姿為主，他們需要經(jīng)過(guò)漫長(zhǎng)的適應(yīng)和熟悉階段才能正式進(jìn)入康復(fù)療程，期間患者注意力經(jīng)常難以集中，影響了康復(fù)進(jìn)程和康復(fù)效果。原因在于，傳統(tǒng)計(jì)算機(jī)顯示方法難以提高患者主動(dòng)參與康復(fù)訓(xùn)練的積極性。即使虛擬現(xiàn)實(shí)技術(shù)的出現(xiàn)能夠提供一定程度的逼真體驗(yàn)，但是仍會(huì)給患者帶來(lái)暈動(dòng)和疲勞問題，最終還是會(huì)影響患者進(jìn)行手部康復(fù)訓(xùn)練的舒適度。增強(qiáng)現(xiàn)實(shí)是在虛擬現(xiàn)實(shí)基礎(chǔ)上不斷發(fā)展的新型顯示技術(shù)，且能夠解決人在虛擬現(xiàn)實(shí)中的眩暈感問題，通過(guò)刺激多個(gè)感官來(lái)幫助大腦高級(jí)中樞整合，建立新的信息接收和處理通道，結(jié)合雙側(cè)協(xié)同康復(fù)訓(xùn)練方法，激活兩大腦半球間的耦聯(lián)機(jī)制，更有助于手功能康復(fù)。

另外，康復(fù)初期患者存在日常交互需求，而現(xiàn)有的手功能康復(fù)系統(tǒng)無(wú)法滿足患者的日常交互需求，患者很難自主完成康復(fù)訓(xùn)練等任務(wù)，而是需要康復(fù)治療師完成大量輔助工作，導(dǎo)致人工成本極高。基于生物電信號(hào)的意圖表達(dá)是一種自然便捷的人機(jī)交互方式，而眼球的運(yùn)動(dòng)是主要方式之一，因此眼動(dòng)是一種合適的控制指令。其實(shí)在進(jìn)入BCI康復(fù)療程前，患者可以通過(guò)眼動(dòng)來(lái)實(shí)現(xiàn)人機(jī)交互，滿足互動(dòng)需求。

眼球運(yùn)動(dòng)可以通過(guò)多種方式進(jìn)行捕獲，但傳統(tǒng)方法對(duì)于康復(fù)初期患者的適用性較低，比如：一，采用貼片電極方式測(cè)得眼電圖的方法，由于電極貼在眼睛周圍會(huì)降低視野，長(zhǎng)時(shí)間佩戴容易造成面部肌肉不適，同時(shí)影響信號(hào)質(zhì)量，不適用于康復(fù)過(guò)程；二，眼動(dòng)儀是通過(guò)計(jì)算機(jī)圖像的方式捕獲眼球運(yùn)動(dòng)，但要不僅要負(fù)擔(dān)設(shè)備成本，還要負(fù)擔(dān)康復(fù)治療師的學(xué)習(xí)成本。

發(fā)明內(nèi)容

針對(duì)上述情況，為了克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種融合眼動(dòng)方向分類和增強(qiáng)現(xiàn)實(shí)技術(shù)的手功能康復(fù)訓(xùn)練系統(tǒng)。

本發(fā)明是通過(guò)下述技術(shù)方案來(lái)解決上述技術(shù)問題的：一種融合眼動(dòng)方向分類和增強(qiáng)現(xiàn)實(shí)技術(shù)的手功能康復(fù)訓(xùn)練系統(tǒng)，其特征在于，其包括腦電采集設(shè)備、數(shù)據(jù)解析模塊、數(shù)據(jù)預(yù)處理模塊、卷積神經(jīng)網(wǎng)絡(luò)模塊、手功能康復(fù)模塊，腦電采集設(shè)備獲取患者眼球運(yùn)動(dòng)相關(guān)通道的原始腦電信號(hào)，數(shù)據(jù)解析模塊接收腦電信號(hào)并解析為數(shù)據(jù)格式可處理的腦電信號(hào)，數(shù)據(jù)預(yù)處理模塊對(duì)腦電信號(hào)進(jìn)行預(yù)處理，卷積神經(jīng)網(wǎng)絡(luò)模塊接收預(yù)處理后的腦電信號(hào)并進(jìn)行模型訓(xùn)練和測(cè)試，得到分類結(jié)果后將分類結(jié)果作為與手功能康復(fù)模塊交互的指令。

優(yōu)選地，所述患者的頭部戴腦電采集設(shè)備和增強(qiáng)現(xiàn)實(shí)設(shè)備，患側(cè)手部佩戴氣動(dòng)手套。

優(yōu)選地，所述患者在增強(qiáng)現(xiàn)實(shí)設(shè)備中的系統(tǒng)界面選擇要康復(fù)的動(dòng)作，從而進(jìn)入對(duì)應(yīng)康復(fù)場(chǎng)景。

優(yōu)選地，所述腦電采集設(shè)備使用的是國(guó)際10-20導(dǎo)聯(lián)分布方式。

優(yōu)選地，所述數(shù)據(jù)預(yù)處理模塊采用以下算法：移除基線算法，歸一化算法，最小二乘法擬合算法。

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)模塊包括卷積神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)模型包括以下七層：一個(gè)輸入層、一個(gè)批標(biāo)準(zhǔn)化層、一個(gè)卷積層、一個(gè)最大池化層、一個(gè)展平層、一個(gè)全連接層和一個(gè)輸出層。