[發明專利]多模態協同操控的輪椅控制系統及方法

在審

• 申請號: 201910836516.2
• 申請日: 2019-09-05
• 公開（公告）號: CN110658742A
• 公開（公告）日: 2020-01-07
• 發明（設計）人: 楊衛東;古凱;蘇宏倫;張強;單新穎;唐一江;謝霏;陳建宇;徐源
• 申請（專利權）人: 四川省康復輔具技術服務中心;國家康復輔具研究中心
• 主分類號: G05B19/04
• 分類號: G05B19/04;G05G11/00;G06F3/01;G10L15/22
• 代理公司: 44202 廣州三環專利商標代理有限公司
• 代理人: 郝傳鑫;賈允

本發明涉及控制領域，具體涉及一種多模態協同操控的輪椅控制系統及方法。本發明通過設置手操器、腦電帽、眼動儀、攝像頭和語音識別芯片，多途徑采集數據來識別用戶對輪椅的控制意圖，并根據各采集數據對應的控制指令的優先級來確定待執行的控制指令，既豐富了輪椅控制方式，兼顧不同功能障礙的用戶自行控制輪椅動作的需求，還使執行的控指令更貼合用戶的真實意圖。

技術領域

本發明涉及控制領域，具體涉及一種多模態協同操控的輪椅控制系統。

背景技術

輪椅車是老年人和殘障人士的主要代步工具，用來幫助他們提高行動的自由度和完成日常的工作和生活。電動輪椅車具有操控方便，使用簡單。

然而，對于行動不便的老年人、病人或者殘疾人，很多情況下，其不僅存在行走障礙，同時手部也不能很好的對輪椅的行動進行控制，或者單純用手部控制輪椅行動十分吃力。這樣一來，若要實現出行要求就需要借助他人的幫助，從而降低了出行自由度。

發明內容

為了解決上述技術問題，本發明提供一種多模態協同操控的輪椅控制系統，集合多種控制模式，便于用戶根據自身情況選取適合的控制方式進行輪椅操控。

一方面，本發明提供一種多模態協同操控的輪椅控制系統，所述系統包括控制器、手操器、腦電帽、顯示器、眼動儀、攝像頭和語音識別芯片，所述控制器分別與所述手操器、腦電帽、顯示器、眼動儀、攝像頭和語音識別芯片信號連接；

所述手操器，用于根據用戶操作生成手動操控數據，將所述手動操控數據發送至所述控制器；

所述腦電帽，用于采集用戶注視所述顯示器上顯示的第一指示圖標所產生的腦電信號，對所述腦電信號進行識別獲得腦電信號識別結果，將所述腦電信號識別結果發送至所述控制器；

所述眼動儀，用于采集用戶注視所述顯示器上顯示的第二指示圖標所產生的眼動數據，將所述眼動數據發送至所述控制器；

所述攝像頭，用于采集用戶的頭部動作數據，將所述頭部動作數據發送至所述控制器；

所述語音識別芯片，用于采集用戶的語音數據，對所述語音數據進行識別獲得語音識別結果，將所述語音識別結果發送至所述控制器；

所述控制器，用于根據所述手動操控數據生成第一控制指令，根據所述腦電信號識別結果生成第二控制指令，根據所述眼動數據生成第三控制指令，根據所述頭部動作數據生成第四控制指令，根據所述語音識別結果生成第五控制指令，以及從所述第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令中確定具有有效執行結果的控制指令，根據預設的第一控制指令、第二控制指令、第三控制指令、第四控制指令和第五控制指令的優先級，將具有有效執行結果的控制指令中優先級最高的控制指令作為目標控制指令，根據所述目標控制指令控制所述輪椅運動。

優選地，所述控制器，還用于根據預設的操控數據與控制指令的對應關系，將與所述手動操控數據匹配的操控數據所對應的控制指令作為第一控制指令。

優選地，所述腦電信號識別結果包括多個與所述第一指示圖標的顯示時段對應的警覺度值；

所述控制器，還用于將多個警覺度值中數值最大的一個警覺度值作為目標警覺度值，將所述目標警覺度值與預設的警覺度閾值進行比較，如果所述目標警覺度值大于所述警覺度閾值，根據第一指示圖標的顯示時段確定與所述目標警覺度值對應的第一指示圖標，并根據與所述目標警覺度值對應的第一指示圖標指代的輪椅運動狀態生成第二控制指令，如果所述目標警覺度值不大于所述警覺度閾值，則所述第二控制指令為空。

優選地，所述眼動數據包括多個與所述第二指示圖標的顯示時段對應的注視時長；