[發(fā)明專利]仿人形義肢的腦電-語音控制系統(tǒng)及工作方法

無效

• 申請?zhí)枺?/td>: 201010280510.0
• 申請日: 2010-09-11
• 公開（公告）號: CN101947152A
• 公開（公告）日: 2011-01-19
• 發(fā)明（設(shè)計）人: 王傳江;樊炳輝;孫愛芹;李可永;賈朝川;楊婷;江浩;張志獻;徐文尚
• 申請（專利權(quán)）人: 山東科技大學
• 主分類號: A61F2/72
• 分類號: A61F2/72
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種仿人形義肢腦電-語音控制系統(tǒng)，其特征在于，它由腦電信號采集與識別裝置、語音信號采集與識別裝置、隨機目標實時定位裝置和控制裝置四部分組成；其中：

所述的腦電信號采集與識別裝置由腦電信號采集部分和腦電信號處理部分組成；該裝置由多個傳感器探頭構(gòu)成的電極帽、放大濾波電路、模數(shù)轉(zhuǎn)換電路、存儲單元、通信接口和信息分析模塊組成；電極帽佩戴在使用者頭部，采集大腦皮層腦電信號，信息分析模塊接受通信接口傳來的腦電信號經(jīng)過分析與處理，輸出義肢系統(tǒng)執(zhí)行不同任務(wù)的腦電操作指令；

所述的語音信號采集與識別裝置由拾音器、濾波放大電路、模數(shù)轉(zhuǎn)換電路、存儲單元、通信接口、信息分析模塊及單片機組成，用于采集、處理人的語音信號，輸出義肢系統(tǒng)執(zhí)行不同任務(wù)的語音操作指令；

所述的隨機目標實時定位裝置由安裝在佩戴者頭部和義肢上的兩個三維姿態(tài)傳感器、激光測距傳感器和規(guī)劃機組成；在規(guī)劃機中包含目標定位計算程序模塊、義肢關(guān)節(jié)空間參數(shù)求解程序模塊和一個軌跡規(guī)劃程序模塊，用于對佩戴者頭部的空間姿態(tài)相對于義肢基礎(chǔ)姿態(tài)的變化情況進行檢測，對隨機目標進行距離檢測，給控制裝置指定目標位置，求解義肢關(guān)節(jié)空間參數(shù)并提供義肢空間路徑規(guī)劃信息；

所述的控制裝置由MCU系統(tǒng)單元、數(shù)據(jù)存儲單元、控制信號放大輸出驅(qū)動單元和關(guān)節(jié)反饋信號采集單元構(gòu)成，用于采集按鍵信號、腦電信號、語音信號，并根據(jù)不同的控制指令模式，確定是否與隨機目標實時定位裝置進行通訊，實現(xiàn)相應(yīng)的控制任務(wù)。

2.如權(quán)利要求1所述的仿人形義肢腦電-語音控制系統(tǒng)的工作方法，其特征在于，它包括以下工作步驟：

第一、腦電信號的采集與處理

腦電信號的采集與處理工作主要由腦電信號采集與識別裝置來實現(xiàn)；

腦電信號采集時，電極帽上的多個傳感器探頭分別從大腦的不同區(qū)域獲得大腦皮層的腦電信號，經(jīng)過放大濾波處理后輸入到單片機的模數(shù)轉(zhuǎn)換口，經(jīng)過模數(shù)轉(zhuǎn)換后存儲到存儲單元中，并通過通信接口發(fā)送到腦電信號處理部分；

腦電信號的參考電位可選擇頭頂、耳垂或額頭處的信號，同時，為了消除眨眼動作造成的眼部周圍肌電信號的影響，使用雙極導聯(lián)法采集水平眼電與垂直眼電信號；

腦電信號處理時，采集腦電信號的單片機基于計算機的軟件平臺，通過對腦電信號采集裝置發(fā)送過來的數(shù)據(jù)采用滑動窗口技術(shù)對每次任務(wù)劃分為多段進行分析，對窗口內(nèi)數(shù)據(jù)首先進行拉普拉斯濾波和8-30Hz帶通濾波，再利用小波分解和共同空間模式相結(jié)合的時空特征提取方法和徑向基神經(jīng)網(wǎng)絡(luò)分別進行模式識別，得到各中間分類結(jié)果，將各中間分類結(jié)果進行加權(quán)平均，得到佩戴者所發(fā)出指令的最終識別模式，對仿人形義肢執(zhí)行不同任務(wù)的控制模式編號，和腦電信號指令的輸出；

第二、語音信號的采集與處理

對語音信號的采集與處理工作主要由語音信號采集與識別裝置來實現(xiàn)；

采集分兩個階段，在訓練階段，拾音器采集人的語音信號并傳送到語音處理芯片，語音信號經(jīng)反混疊濾波和預加重處理及AD轉(zhuǎn)換后送到MPU，MPU將語音信號加窗分幀后通過雙門限端點檢測方法計算出語音信號的端點，并從端點處開始通過提取梅爾倒譜系數(shù)，從而獲得其特征參數(shù)矢量并保存為樣本模板；按照此方法，對一條指令進行多次訓練，獲得一個樣本集合；通過對多自由度義肢上肢的多條不同語音指令信號的特征參數(shù)矢量進行提取構(gòu)成一個樣本模板庫；在工作階段，同樣通過上述語音指令信號特征提取方法計算得到待識別語音的特征參數(shù)矢量；

在處理階段，MPU處理器將語音采集部分計算得到的待識別語音的特征參數(shù)矢量，通過動態(tài)時間規(guī)整的模式匹配方法將其與模板庫中各語音指令的特征參數(shù)矢量進行比較，并計算出待識別語音特征參數(shù)矢量與模板庫中各特征參數(shù)矢量之間的歐式距離，其中歐式距離較小者即為識別出的指令模式，對仿人形義肢執(zhí)行不同任務(wù)的控制模式編號，輸出該指令模式；

第三、隨機目標的實時定位

對隨機目標的實時定位功能主要由隨機目標實時定位裝置來實現(xiàn)；

安裝在佩戴者頭部和義肢上的兩個三維姿態(tài)傳感器，對佩戴者頭部的空間姿態(tài)相對于義肢基礎(chǔ)姿態(tài)的變化情況進行檢測，并利用激光測距傳感器對隨機目標進行距離檢測，再通過該裝置的目標定位計算程序模塊實現(xiàn)不同坐標系中連續(xù)坐標變換推演，并計算出隨機操作目標相對于多自由度義肢上肢操作空間的三維定位值；

多自由度義肢關(guān)節(jié)空間參數(shù)求解模型，利用人工神經(jīng)網(wǎng)絡(luò)對不完整信息獨特的參數(shù)映射能力、快速并行信息處理能力和多輸入多輸出的非線性特性，經(jīng)過有監(jiān)督訓練法訓練而得到的一種人工神經(jīng)網(wǎng)絡(luò)模型；每當獲得隨機工作目標在操作空間的三維定位值時，將三維定位值和某種欠定義的代償姿態(tài)描述作為該人工神經(jīng)網(wǎng)絡(luò)模型的輸入，得到網(wǎng)絡(luò)輸出的各關(guān)節(jié)的求解值；

軌跡規(guī)劃模塊，根據(jù)任務(wù)的不同，對不同的示教再現(xiàn)任務(wù)或隨機目標操作任務(wù)進行軌跡規(guī)劃，并將完成的軌跡規(guī)劃信息通過通訊接口發(fā)送給控制裝置，在控制裝置的輸出控制作用下，義肢手部按所規(guī)劃好的空間路徑與時間，達到指定的目標位置；

第四、對義肢動作的控制

控制裝置負責接收到腦電信號采集與識別裝置、語音信號采集與識別裝置或手動按鍵的任務(wù)指令并執(zhí)行之。這些任務(wù)包括工停止運動、對義肢進行單關(guān)節(jié)控制、示教再現(xiàn)控制以及對隨機目標操作控制等；其中：

在單關(guān)節(jié)控制模式下，控制裝置根據(jù)語音命令或手動按鍵方式來實現(xiàn)對義肢相應(yīng)關(guān)節(jié)的單獨控制；

在示教再現(xiàn)控制模式下，控制裝置根據(jù)腦電命令、語音命令或手動按鍵方式控制義肢以要求的速度與姿態(tài)到達指定的各目標點，在這個過程中，控制裝置根據(jù)已經(jīng)保存的目標點信息，通過與隨機目標實時定位裝置通訊，采用軌跡規(guī)劃算法獲得示教軌跡的路徑規(guī)劃信息，控制各關(guān)節(jié)實現(xiàn)合成運動，在設(shè)計的時間內(nèi)穩(wěn)定可靠地移動義肢，再現(xiàn)示教結(jié)果；

在對隨機目標操作控制模式下，控制裝置根據(jù)腦電命令、語音命令或手動按鍵方式來實現(xiàn)對義肢的操作控制，首先通過隨機目標實時定位裝置獲得隨機目標相對義肢基礎(chǔ)坐標系的三維空間位置，求解義肢關(guān)節(jié)空間參數(shù)，并對其作出軌跡規(guī)劃；控制裝置接收到來自隨機目標實時定位裝置的控制信息來執(zhí)行輸出控制，同時將實時采集到的各關(guān)節(jié)位置、速度等反饋信號發(fā)送給隨機目標實時定位裝置，以達到隨時檢測并控制義肢手部運動位置與速度的目的。