[發明專利]基于手掌部多模態信息的人手多運動模式識別系統

在審

• 申請號: 202110270965.2
• 申請日: 2021-03-12
• 公開（公告）號: CN112971772A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 姜力;姚皓寧
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: A61B5/11
• 分類號: A61B5/11;A61B5/00;G06K9/62
• 代理公司: 哈爾濱龍科專利代理有限公司 23206
• 代理人: 李智慧

本發明公開了一種基于手掌部多模態信息的人手多運動模式識別系統，所述人手多運動模式識別系統包括傳感手套、信號采集電路、計算機和顯示器系統，其中：所述傳感手套的手心布置有5個彎曲度傳感器，手背部分布置有3個壓力傳感器，每個彎曲度傳感器和每個壓力傳感器均通過導線與信號采集電路相連接；所述信號采集電路與計算機相連接，計算機對信號采集電路的信號進行信號的采集和處理，并在顯示器上顯示相關信息。手部的彎曲度信息和手背部的壓力信息同時采集，互相補充同時也互相備份，信息被擴展為兩種模態下的，傳感器的數量也相對于單模態進行擴增，增大機器學習的信息量，能夠實現單模態和雙模態的簡單轉換以適應不同工作需求。

技術領域

本發明屬于生物機電一體化（Biomechatronics）技術領域，涉及一種基于手掌部多模態信息的人手多運動模式識別系統。

背景技術

假手是結合了多種高新技術的機器人產品，也是在生物機電一體化領域中的代表性技術。假手的主要應用場景是幫助先天或者后天手部殘缺者補全手部外形和功能。隨著人類科技的進步，假手也由最初的裝飾性假手逐漸向功能性假手轉變。

人類意圖的識別是假手功能性的支撐之一，能夠準確識別人類希望進行的手部動作是完成假手控制的基礎，近些年也成為相關領域的研究熱點。目前主流假手采用非侵入性的控制方式，主要分為腦電、肌電和肌力三種方式。腦電識別方式是檢測大腦在控制身體執行動作時大腦皮層形成的特殊生物電反應得到腦電圖，通過對腦電圖信號進行分析識別出大腦發出的最初指令。肌電識別也是應用很廣泛的控制方式，也是最成熟的控制方式，該方式通過監測皮膚表面電信號的變化，來判斷人類對肌肉的控制意圖。此外，肌力信號識別同樣具備自己獨特的優勢，這種方式通過貼在皮膚上的壓力傳感器獲取肌肉壓力信號，并以此判斷意圖的手勢。

半掌殘缺是手掌殘缺的一種特殊的情況，半掌假手也是為解決這種問題而生。殘存的手掌為假手的設計提出了挑戰，但也為手部動作識別提出了新的可能性，一些研究者希望能夠將信號采集位置從小臂、手腕等傳統的位置向殘存的手掌轉移，將肌力傳感器布置在手心和手背上是一種不錯的嘗試，但這種方式也存在著識別率不高、穿戴不適等缺陷。目前市場上還沒有識別穩定、技術成熟的針對手掌的人類手部動作識別的裝置或者方法。

此外，在半掌假手領域應用較多和比較成熟的人類意圖的識別模式往往是單一模態的。但實際上，人在進行手部動作時，會發生非常多不同物理量的變化，這些信號能夠為手部動作的識別做出參考，從而提升識別率和識別效果，對多模態的識別方式的研究是很有意義的。

發明內容

針對國內外現有的用于假手的手部動作識別方法識別參考物理量種類過于單一、識別率波動較大、結構復雜、穿戴舒適性不佳的問題，且大部分方案中單純以單一量作為識別參考的方法，本發明提供了一種基于手掌部多模態信息的人手多運動模式識別系統。本發明使用彎曲度和壓力作為多模態模式識別，具體思路是將手心不同位置彎曲度和手背不同點的壓力情況采集后進行機器學習完成對手部動作模式的判定，可以實現對人手在工作時手掌彎曲信息的采集和分析，并且在此基礎上完成對全手動作的分類識別。手部的彎曲度信息和手背部的壓力信息同時采集，互相補充同時也互相備份，信息被擴展為兩種模態下的，傳感器的數量也相對于單模態進行擴增，增大機器學習的信息量，能夠實現單模態和雙模態的簡單轉換以適應不同工作需求。

本發明的目的是通過以下技術方案實現的：

一種基于手掌部多模態信息的人手多運動模式識別系統，包括傳感手套、信號采集電路、計算機和顯示器系統，其中：

所述傳感手套的手心布置有5個彎曲度傳感器，手背部分布置有3個壓力傳感器（分布如圖1 所示），每個彎曲度傳感器和每個壓力傳感器均通過導線與信號采集電路相連接；

所述彎曲度傳感器的布置方向是沿與手部動作相關的幾個關鍵彎曲方向，分別在小指、無名指、中指、無名指的手指根部和相連手掌部以及與第一掌骨和第二掌骨垂直的方向（反映拇指運動)，各手指對應傳感器布置方向與手指方向大致相同（拇指處除外），能夠反應對應手指的動作，這些彎曲度傳感器也可以獨立為系統提供彎曲度信息作為識別單模態的信息；