[發(fā)明專利]多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201910836516.2
• 申請日: 2019-09-05
• 公開（公告）號: CN110658742A
• 公開（公告）日: 2020-01-07
• 發(fā)明（設(shè)計）人: 楊衛(wèi)東;古凱;蘇宏倫;張強(qiáng);單新穎;唐一江;謝霏;陳建宇;徐源
• 申請（專利權(quán)）人: 四川省康復(fù)輔具技術(shù)服務(wù)中心;國家康復(fù)輔具研究中心
• 主分類號: G05B19/04
• 分類號: G05B19/04;G05G11/00;G06F3/01;G10L15/22
• 代理公司: 44202 廣州三環(huán)專利商標(biāo)代理有限公司
• 代理人: 郝傳鑫;賈允

1.一種多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)，其特征在于，所述系統(tǒng)包括控制器、手操器、腦電帽、顯示器、眼動儀、攝像頭和語音識別芯片，所述控制器分別與所述手操器、腦電帽、顯示器、眼動儀、攝像頭和語音識別芯片信號連接；

所述手操器，用于根據(jù)用戶操作生成手動操控數(shù)據(jù)，將所述手動操控數(shù)據(jù)發(fā)送至所述控制器；

所述腦電帽，用于采集用戶注視所述顯示器上顯示的第一指示圖標(biāo)所產(chǎn)生的腦電信號，對所述腦電信號進(jìn)行識別獲得腦電信號識別結(jié)果，將所述腦電信號識別結(jié)果發(fā)送至所述控制器；

所述眼動儀，用于采集用戶注視所述顯示器上顯示的第二指示圖標(biāo)所產(chǎn)生的眼動數(shù)據(jù)，將所述眼動數(shù)據(jù)發(fā)送至所述控制器；

所述攝像頭，用于采集用戶的頭部動作數(shù)據(jù)，將所述頭部動作數(shù)據(jù)發(fā)送至所述控制器；

所述語音識別芯片，用于采集用戶的語音數(shù)據(jù)，對所述語音數(shù)據(jù)進(jìn)行識別獲得語音識別結(jié)果，將所述語音識別結(jié)果發(fā)送至所述控制器；

所述控制器，用于根據(jù)所述手動操控數(shù)據(jù)生成第一控制指令，根據(jù)所述腦電信號識別結(jié)果生成第二控制指令，根據(jù)所述眼動數(shù)據(jù)生成第三控制指令，根據(jù)所述頭部動作數(shù)據(jù)生成第四控制指令，根據(jù)所述語音識別結(jié)果生成第五控制指令，以及從所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中確定具有有效執(zhí)行結(jié)果的控制指令，根據(jù)預(yù)設(shè)的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的優(yōu)先級，將具有有效執(zhí)行結(jié)果的控制指令中優(yōu)先級最高的控制指令作為目標(biāo)控制指令，根據(jù)所述目標(biāo)控制指令控制所述輪椅運動。

2.根據(jù)權(quán)利要求1所述的多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)，其特征在于，所述控制器，還用于根據(jù)預(yù)設(shè)的操控數(shù)據(jù)與控制指令的對應(yīng)關(guān)系，將與所述手動操控數(shù)據(jù)匹配的操控數(shù)據(jù)所對應(yīng)的控制指令作為第一控制指令。

3.根據(jù)權(quán)利要求1所述的多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)，其特征在于，所述腦電信號識別結(jié)果包括多個與所述第一指示圖標(biāo)的顯示時段對應(yīng)的警覺度值；

所述控制器，還用于將多個警覺度值中數(shù)值最大的一個警覺度值作為目標(biāo)警覺度值，將所述目標(biāo)警覺度值與預(yù)設(shè)的警覺度閾值進(jìn)行比較，如果所述目標(biāo)警覺度值大于所述警覺度閾值，根據(jù)第一指示圖標(biāo)的顯示時段確定與所述目標(biāo)警覺度值對應(yīng)的第一指示圖標(biāo)，并根據(jù)與所述目標(biāo)警覺度值對應(yīng)的第一指示圖標(biāo)指代的輪椅運動狀態(tài)生成第二控制指令，如果所述目標(biāo)警覺度值不大于所述警覺度閾值，則所述第二控制指令為空。

4.根據(jù)權(quán)利要求1所述的多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)，其特征在于，所述眼動數(shù)據(jù)包括多個與所述第二指示圖標(biāo)的顯示時段對應(yīng)的注視時長；

所述控制器，還用于將多個注視時長中最大的一個注視時長作為目標(biāo)注視時長，將所述目標(biāo)注視時長與預(yù)設(shè)的注視閾值進(jìn)行比較，如果所述目標(biāo)注視時長大于所述注視閾值，根據(jù)所述第二指示圖標(biāo)的顯示時段確定與所述目標(biāo)注視時長對應(yīng)的第二指示圖標(biāo)，并根據(jù)與所述目標(biāo)注視時長對應(yīng)的第二指示圖標(biāo)指代的輪椅運動狀態(tài)生成第三控制指令，如果所述目標(biāo)注視時長不大于所述注視閾值，則所述第三控制指令為空。

5.根據(jù)權(quán)利要求1所述的多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)，其特征在于，所述控制器，還用于對所述頭部動作數(shù)據(jù)進(jìn)行識別獲得頭部姿態(tài)，根據(jù)預(yù)設(shè)的標(biāo)準(zhǔn)頭部姿態(tài)與輪椅運動狀態(tài)的對應(yīng)關(guān)系，將所述頭部姿態(tài)與所述標(biāo)準(zhǔn)頭部姿態(tài)進(jìn)行匹配，計算所述頭部姿態(tài)與各標(biāo)準(zhǔn)頭部姿態(tài)之間的匹配度，將計算得到的各個匹配度中數(shù)值最高的一個匹配度作為目標(biāo)匹配度，將所述目標(biāo)匹配度與預(yù)設(shè)的匹配度閾值進(jìn)行比對，如果所述目標(biāo)匹配度大于匹配度閾值，則根據(jù)與所述頭部姿態(tài)匹配度最高的標(biāo)準(zhǔn)頭部姿態(tài)所對應(yīng)的輪椅運動狀態(tài)生成第四控制指令，如果所述目標(biāo)匹配度不大于匹配度閾值，則所述第四控制指令為空。

6.根據(jù)權(quán)利要求1所述的多模態(tài)協(xié)同操控的輪椅控制系統(tǒng)，其特征在于，所述控制器，還用于對所述語音識別結(jié)果進(jìn)行語義分析，提取關(guān)鍵詞，根據(jù)預(yù)設(shè)的關(guān)鍵詞與輪椅運動狀態(tài)的對應(yīng)關(guān)系，確定與提取的關(guān)鍵詞對應(yīng)的輪椅運動狀態(tài)，以及根據(jù)與提取的關(guān)鍵詞對應(yīng)的輪椅運動狀態(tài)生成第五控制指令。