[發明專利]具有定位導航與多模態人機交互功能的智能輪椅及控制方法

在審

• 申請號: 202211045945.6
• 申請日: 2022-08-30
• 公開（公告）號: CN115399950A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 駱海濤;孫嘉澤;高鵬宇;李玉新;曹軒;孔祥峰
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: A61G5/04
• 分類號: A61G5/04;A61G5/10;G05D1/02;G06F3/01;G06V40/16
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 周宇

1.具有自主導航與多模態人機交互功能的智能輪椅，其特征在于，包括：

輪椅本體和設在其上的控制系統，所述控制系統包括：處理器工控機和與其分別連接的指令輸入單元、激光雷達自主導航模塊、單片機，以及與單片機連接的運動感知模塊和電機驅動單元；

所述指令輸入單元，包括語音控制模塊、鍵盤和手柄控制模塊、視覺識別模塊，用于識別用戶輸入的語音指令、鍵盤和手柄指令、動作指令并輸出給處理器工控機；

所述激光雷達自主導航模塊，用于掃描周圍環境生成地圖發送給處理器工控機；

所述運動感知模塊，用于實時檢測輪椅運動數據并通過單片機發送給處理器工控機；

所述處理器工控機，1)根據輪椅運動數據，結合地圖定位輪椅在地圖上的位置；2)結合地圖和輪椅當前位置規劃路徑、輸出速度指令給單片機；3)根據指令輸入單元的用戶指令輸出實際輪椅驅動指令；

所述單片機，用于根據處理器工控機輸出的速度指令進一步分解成電機驅動指令；

所述電機驅動單元，包括電機驅動器、驅動電機，電機驅動器接收單片機的電機驅動指令控制驅動電機轉動，從而帶動輪椅車輪旋轉，實現自主導航。

2.根據權利要求1所述的具有自主導航與多模態人機交互功能的智能輪椅，其特征在于，所述語音控制模塊為麥克風，用于采集輪椅用戶的語音指令；所述視覺識別模塊為深度相機，用于采集輪椅用戶的手勢和面部表情。

3.根據權利要求1所述的具有自主導航與多模態人機交互功能的智能輪椅，其特征在于，所述處理器工控機，2)結合地圖和輪椅當前位置規劃路徑、輸出速度指令給單片機，是通過如下各單元實現的：

a.改進的全局路徑規劃器，在傳統的RRT*規劃器進行如下改進：

修剪RRT*規劃器的冗余的路徑節點；

通過啟發式約束采樣方法和人工勢場中引力場方法減少路徑搜索時間；通過約束路徑的轉彎曲率，使其生成的路徑更加符合輪椅行走；

通過三次B樣條曲線使生成后的路徑變成一條光滑路徑；

b.局部路徑規劃器，用于對生成的光滑路徑，采用MPC模型預測局部規劃器生成相應的速度控制指令并發送給底層單片機從而驅動智能輪椅。

4.根據權利要求1所述的具有自主導航與多模態人機交互功能的智能輪椅，其特征在于，所述處理器工控機，3)根據指令輸入單元的用戶指令輸出實際輪椅驅動指令，是通過如下各單元實現的：

a.在處理器工控機中設置手勢指令識別單元：

a1.預定義手勢關鍵點凸包，通過深度相機對手部信息收集，基于Mediapipe框架預測出手部的骨架，定義手部關鍵點；

a2.根據手部關節關鍵點，識別“握拳”和“不等數量和位置的豎指組合”，定義各個手勢指令動作與實際輪椅驅動指令，對輪椅實時進行控制；

a3.根據深度相機實時采集的手勢指令動作，比對指令庫識別對應實際輪椅驅動指令；

b.在處理器工控機中設置面部表情指令識別單元：

b1.預定義面部關鍵點凸包，通過深度相機對面部信息收集，基于Mediapipe框架實現對面部478個關鍵點檢測；

b2.根據五官的關鍵點，識別“眼睛”和“嘴巴”張開閉合動作以及表情動作的組合，定義各個表情動作與實際輪椅驅動指令的映射，對輪椅實時進行控制；

其中，實際輪椅驅動指令包括：前進、后退、左轉、右轉、停止。

5.根據權利要求1所述的具有自主導航與多模態人機交互功能的智能輪椅，其特征在于，所述運動感知模塊包括編碼器和IMU，用于實時檢測編碼器角度和偏航角數據，通過單片機發送給處理器工控機。

6.根據權利要求1所述的具有自主導航與多模態人機交互功能的智能輪椅，其特征在于，所述輪椅本體為輪椅車架、座椅、靠背、前后轉輪構成的輪椅。