[發(fā)明專利]一種上肢康復(fù)機(jī)器人多模態(tài)信息融合感知系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010926488.6
• 申請(qǐng)日: 2020-09-07
• 公開（公告）號(hào): CN112022619B
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 王文東;李翰豪;郭棟;張鵬;孔德智
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): A61H1/02
• 分類號(hào): A61H1/02;G06K9/00;G06N3/04
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 金鳳

1.一種上肢康復(fù)機(jī)器人多模態(tài)信息融合感知系統(tǒng)，其特征在于，包括初始狀態(tài)檢驗(yàn)?zāi)K、信息采集識(shí)別模塊、意圖融合感知模塊和運(yùn)動(dòng)反饋執(zhí)行模塊；

所述初始狀態(tài)檢驗(yàn)?zāi)K完成上肢康復(fù)機(jī)器人中信號(hào)采集器件的初始化工作及按照預(yù)設(shè)值設(shè)定系統(tǒng)參數(shù)；

所述信息采集識(shí)別模塊包括M-C-E信號(hào)采集電路和信號(hào)濾波單元；

所述M-C-E信號(hào)采集電路包括sEMG采集單元、EEG采集單元、ECG采集單元、LDO線性穩(wěn)壓電路、嵌入式控制器、通信電平轉(zhuǎn)換單元和上位機(jī)控制單元；

所述sEMG采集單元包括多個(gè)姿態(tài)傳感器、多個(gè)壓力傳感器、光電編碼器、多個(gè)sEMG采集電極和ADC轉(zhuǎn)換電路；所述多個(gè)姿態(tài)傳感器分別放置于患者手心與小臂位置，所述多個(gè)壓力傳感器分別放置于患者小臂周圍，所述光電編碼器放置于患者肘關(guān)節(jié)的側(cè)邊，所述多個(gè)sEMG采集電極按照等間隔同方向形式分別放置于患者的三角肌不同位置；姿態(tài)傳感器、壓力傳感器、光電編碼器和sEMG采集電極采集患者身體運(yùn)動(dòng)信號(hào)，將患者身體運(yùn)動(dòng)信號(hào)送入嵌入式控制器；

所述EEG采集單元包括腦電采集帽、顯示器和采集標(biāo)準(zhǔn)檢驗(yàn)軟件；通過采集標(biāo)準(zhǔn)檢驗(yàn)軟件設(shè)定腦電采集帽的電極與頭皮之間的阻抗允許區(qū)間，當(dāng)腦電采集帽的電極與頭皮之間的阻抗處于設(shè)定的阻抗允許區(qū)間內(nèi)時(shí)，將腦電采集帽采集的數(shù)據(jù)送入嵌入式控制器，并在EEG采集單元的顯示器上顯示；

所述ECG采集單元包括心率IR紅外檢測(cè)裝置和心率信號(hào)模擬轉(zhuǎn)脈沖電路；所述心率IR紅外檢測(cè)裝置采用光電容積傳感器，使用時(shí)固定在患者指尖位置，采集患者心率模擬信號(hào)，將患者心率模擬信號(hào)送入心率信號(hào)模擬轉(zhuǎn)脈沖信號(hào)電路；所述心率信號(hào)模擬轉(zhuǎn)脈沖信號(hào)電路將接收到的患者心率模擬信號(hào)轉(zhuǎn)變?yōu)槊}沖信號(hào)送入所述上位機(jī)控制單元，上位機(jī)控制單元通過外部中斷讀取脈沖信號(hào)上升沿，并記錄兩次上升沿的間隔時(shí)間，計(jì)算出心率的大小；

所述LDO線性穩(wěn)壓電路為M-C-E信號(hào)采集電路供電；

所述嵌入式控制器采用單片機(jī)為主控芯片，接收sEMG采集單元和EEG采集單元輸入的信號(hào)，再將sEMG采集單元和EEG采集單元輸入的信號(hào)轉(zhuǎn)換為TTL電平信號(hào)輸出到通信電平轉(zhuǎn)換單元，通信電平轉(zhuǎn)換單元將接收到TTL電平信號(hào)轉(zhuǎn)換為USB信號(hào)輸入到上位機(jī)控制單元；

所述上位機(jī)控制單元接收M-C-E信號(hào)采集電路采集的信號(hào)，通過信號(hào)濾波單元對(duì)M-C-E信號(hào)采集電路采集的信號(hào)進(jìn)行濾波，然后執(zhí)行意圖融合感知模塊，對(duì)患者運(yùn)動(dòng)意圖進(jìn)行分類及預(yù)測(cè)，驅(qū)動(dòng)運(yùn)動(dòng)反饋執(zhí)行模塊控制上肢康復(fù)機(jī)器人運(yùn)行；

所述信號(hào)濾波單元采用限幅濾波與卡爾曼濾波相結(jié)合對(duì)M-C-E信號(hào)采集電路采集的信號(hào)進(jìn)行組合濾波，包括以下步驟：

步驟1-1：設(shè)定誤差閾值；若當(dāng)前時(shí)刻sEMG采集單元的姿態(tài)傳感器采樣電壓值與上一時(shí)刻采樣電壓值的差未超過誤差閾值，則判定信號(hào)有效并輸出信號(hào)；否則將下一時(shí)刻sEMG采集單元的姿態(tài)傳感器采樣電壓值與當(dāng)前采樣電壓值做差，若差值超過誤差閾值判定為噪聲信號(hào)，將當(dāng)前時(shí)刻sEMG采集單元的姿態(tài)傳感器采樣電壓值用上一時(shí)刻和下一時(shí)刻的采樣電壓平均值代替；若差值未超過誤差閾值則輸出信號(hào)；

步驟1-2：對(duì)步驟1-1輸出的信號(hào)采用帶修正因子的自適應(yīng)卡爾曼濾波算法進(jìn)行濾波；

步驟1-3：重復(fù)步驟1-1和步驟1-2對(duì)M-C-E信號(hào)采集電路采集的信號(hào)進(jìn)行濾波，消除噪聲誤差信號(hào)；

所述意圖融合感知模塊，包括數(shù)據(jù)預(yù)處理、CNN局部特征提取、GRU-CNN時(shí)序特征提取與多模態(tài)信息融合、分類結(jié)果與康復(fù)決策輸出四個(gè)步驟；具體如下：

步驟2-1：建立總體融合損失函數(shù)模型為：

式中：G(x,y,z)為相似度估計(jì)函數(shù)，即任意三個(gè)向量x,y,z的點(diǎn)乘；e,c,m分別為EEG、ECG、sEMG的輸入向量，為EEG與ECG、sEMG信息不匹配的嵌入向量，為ECG與EEG、sEMG信息不匹配的嵌入向量，為sEMG與EEG、ECG信息不匹配的嵌入向量，α是softmax函數(shù)間隔參數(shù)，β是損失閾值，v是神經(jīng)網(wǎng)絡(luò)中所有待學(xué)習(xí)參數(shù)已確定的條件，L(α,β)表示在所有待學(xué)習(xí)參數(shù)確定下的最小總體融合損失函數(shù)；

步驟2-2：數(shù)據(jù)預(yù)處理；

采用希爾伯特變換得到sEMG采集單元采集信號(hào)的瞬時(shí)頻率，通過經(jīng)驗(yàn)?zāi)B(tài)分解法將sEMG采集單元采集信號(hào)分解為多個(gè)固有模態(tài)函數(shù)的和，然后得到所有IMF分量；根據(jù)不同運(yùn)動(dòng)模式下的sEMG采集單元采集信號(hào)的能量譜，確定固有模態(tài)函數(shù)頻域特征；再用IMF分量和固有模態(tài)函數(shù)頻域特征構(gòu)建sEMG信號(hào)特征矩陣；

將EEG采集單元采集信號(hào)和ECG采集單元采集信號(hào)進(jìn)行多尺度小波系數(shù)分解，將每一級(jí)的小波系數(shù)的均方值、奇異值和頻譜密度作為特征值，選取小波系數(shù)的低頻段作為有效信號(hào)段；再將各特征值進(jìn)行z-score標(biāo)準(zhǔn)化，構(gòu)建EEG信號(hào)特征矩陣和ECG信號(hào)特征矩陣；

步驟2-3：將經(jīng)過預(yù)處理的sEMG信號(hào)特征矩陣、EEG信號(hào)特征矩陣和ECG信號(hào)特征矩陣三種信號(hào)特征矩陣輸入到CNN局部特征提取網(wǎng)絡(luò)中，采用一維卷積核對(duì)三種信號(hào)特征矩陣數(shù)據(jù)進(jìn)行處理，提取局部特征；

步驟2-4：采用GRU-CNN構(gòu)建網(wǎng)絡(luò)，共包含7層；分別為輸入層、第一卷積層、池化層、GRU層、第二卷積層、全連接層和輸出層；輸入層的輸入為步驟2-3輸出的局部特征矩陣；輸出層由多個(gè)RBF單元組成，每一個(gè)RBF單元的輸出類別為一種運(yùn)動(dòng)模式，分為肩關(guān)節(jié)屈伸、大臂內(nèi)外旋、肘關(guān)節(jié)屈伸、腕關(guān)節(jié)屈伸、雙手抓握和無效運(yùn)動(dòng)六種運(yùn)動(dòng)模式；

步驟2-5：分類結(jié)果與康復(fù)決策輸出；

建立一種患者康復(fù)能力參考指標(biāo)，通過步驟2-4的分類結(jié)果進(jìn)行康復(fù)訓(xùn)練行為強(qiáng)度規(guī)劃，設(shè)定三種強(qiáng)度，分別為：輕靈活度、中靈活度、高靈活度；

設(shè)定各運(yùn)動(dòng)模式樣本數(shù)量分布為：肩關(guān)節(jié)屈伸-SFE、大臂內(nèi)外旋-AIER、肘關(guān)節(jié)屈伸-EFE、腕關(guān)節(jié)屈伸-WFE、雙手抓握-BHG、無效運(yùn)動(dòng)-IA；

總樣本數(shù)：s＝SFE+AIER+EFE+WFE+BHG+IA

式中：L_t、M_t、H_t分別為輕靈活度、中靈活度、高靈活度強(qiáng)度占比；

所述運(yùn)動(dòng)反饋執(zhí)行模塊根據(jù)意圖融合感知模塊的輸出結(jié)果發(fā)出操作指令驅(qū)動(dòng)上肢康復(fù)機(jī)器人協(xié)助患者運(yùn)行，完成患者的上肢康復(fù)訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的一種上肢康復(fù)機(jī)器人多模態(tài)信息融合感知系統(tǒng)，其特征在于，初始狀態(tài)檢驗(yàn)?zāi)K完成上肢康復(fù)機(jī)器人中信號(hào)采集器件的初始化工作包括一種陀螺儀初始調(diào)零方法，具體如下：

在靜止?fàn)顟B(tài)下，使用微處理器連續(xù)采樣在室溫下的陀螺儀零位值，將記錄的零位值按照最小二乘法進(jìn)行曲線擬合，實(shí)現(xiàn)離散值擬合連續(xù)零位曲線，擬合公式為：

式中：Q為中間變量，n為采樣次數(shù)，m為擬合曲線多項(xiàng)式的次數(shù)，a_j為待求解基函數(shù)擬合系數(shù)，x_i為連續(xù)采樣的溫度值序列，y_i為相對(duì)零位值采樣序列，i＝1,2,…,n；j＝0,1,2,…,m；y(x)為陀螺儀相對(duì)零位值因變量，x為溫度值自變量；由式(3)中前兩個(gè)公式求解a_j，式(3)中第3個(gè)公式為最終擬合連續(xù)零位曲線；

根據(jù)擬合的連續(xù)零位曲線和當(dāng)前室內(nèi)溫度值，實(shí)現(xiàn)實(shí)時(shí)溫度誤差補(bǔ)償。