[發明專利]一種基于眼動和深度學習的電動輪椅實現方法

在審

• 申請號: 202110543762.6
• 申請日: 2021-05-19
• 公開（公告）號: CN113274206A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 徐軍;劉剛;歐陽文佳
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: A61G5/04
• 分類號: A61G5/04;A61G5/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于眼動和深度學習的電動輪椅實現方法，涉及電動輪椅控制技術領域；包括數據處理系統、安全系統、電動輪椅控制系統。數據處理系統包括圖像采集及預處理模塊、眼動深度學習模塊，圖像處理及預處理模塊與眼動深度學習模塊電連接。安全系統包括超聲波陣列、三軸傳感器。電動輪椅控制系統包括主控、舵機模塊，主控與舵機模塊電連接，眼動深度學習模塊、超聲波陣列、三軸傳感器分別與主控電連接。本發明將眼動技術與電動輪椅結合，實現了一種全新的輪椅控制方式，并且采用舵機控制電動輪椅，方便改造現有電動輪椅。為了提高輪椅運行時的安全性，設計了安全系統。

技術領域

本發明屬于電動輪椅控制技術領域，具體涉及一種基于眼動和深度學習的電動輪椅實現方法。

背景技術

隨著社會的發展和技術的進步，輪椅技術也在不斷發展。現在市面上針對不同用戶群體有不同種類的輪椅。但是針對漸凍癥患者、帕金森患者、高位截癱患者以及其他疾病導致手不能自由活動的人群，并不能很好的使用普通輪椅或者控制電動輪椅。因此，針對特殊人群使用的輪椅成為研究熱點。

眼動控制技術用于人機交互可以將人的雙手解放出來去做一些其他重要的事情，同時，該技術可以幫助殘疾人實現對設備的控制。可靠的眼動控制技術可以廣泛應用在醫學、交通、軍事等方面。目前獲取眼部運動信息主要有兩類方法：第一，通過接觸式的方法，在使用者太陽穴附近粘貼電極采集眼球左右轉動時產生的電信號實現對輪椅的控制。這種方法在實際使用中，每次都需要在使用者頭上粘貼電極，影響美觀和舒適度并且長期使用電極可能會出現脫落的現象。第二，通過使用非接觸式的方法，使用眼動儀獲取眼動信息，這種方法雖然在使用上舒適度有所提高，但是成本高。

深度學習是機器學習中一種基于對數據進行表征學習的方法，深度學習的好處是用非監督式或半監督式的特征學習和分層特征提取高效算法來替代手工獲取特征。傳統對眼動圖像的處理通常采用模板匹配的方法，通過模板與輸入圖像特征的匹配程度實現分類功能，這種傳統的方法準確率不高，通過深度學習的方法可以自動提取眼動圖像特征，實現高效準確的分類。

發明內容

本發明所要解決的技術問題是針對現有技術中對患有漸凍癥、帕金森、高位截癱等疾病的患者無法自主使用電動輪椅的問題，提供一種基于眼動和深度學習的電動輪椅實現方法，該方法由數據處理系統、安全系統、電動輪椅控制系統組成，系統間相互協調工作，最終實現了基于眼動和深度學習的電動輪椅。

本發明的一種基于眼動和深度學習的電動輪椅實現方法，包括數據處理系統、安全系統、電動輪椅控制系統。數據處理系統包括圖像采集及預處理模塊、眼動深度學習模塊，圖像處理及預處理模塊與眼動深度學習模塊電連接。安全系統包括超聲波陣列、三軸傳感器。電動輪椅控制系統包括主控、舵機模塊，主控與舵機模塊電連接，眼動深度學習模塊、超聲波陣列、三軸傳感器分別與主控電連接。

作為優選，所述圖像采集及預處理模塊利用高清攝像頭采集使用者人臉區域圖像，通過關鍵點檢測方法對采集的圖像進行預處理操作，將左右眼區域截取并橫向拼接在一起。

作為優選，所述眼動深度學習模塊采用ResNet18作為骨干網絡提取特征，通過全連接層得到所需的三分類結果，結果中概率最高的作為最終預測的結果。在訓練網絡階段，損失函數采用交叉熵，其公式為：

式中N為每批輸入樣本個數，C為當前類別，M為類別總數，y_ic表示第C個類別第i個樣本，p_ic表示第C個類別中第i個樣本的概率。

作為優選，所述超聲波陣列通過在輪椅的前后左右分別放置一個超聲波傳感器獲取輪椅與四周的距離信息。

作為優選，所述電動輪椅控制系統利用主控處理眼動深度學習模塊、傳感器陣列、三軸傳感器的數據，將處理后的結果通過舵機模塊實現對輪椅的控制。舵機模塊通過固定在電動輪椅控制器上的兩個舵機分別實現對控制器上的搖桿進行前后和左右的控制，通過兩個舵機的不同旋轉角度的組合實現對電動輪椅任意方向移動的控制。