[發明專利]人體手勢字母的識別方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010626967.6
• 申請日: 2020-07-02
• 公開（公告）號: CN111857334A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 張衛東;陳斌;張國慶
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0346;G06K9/00;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種人體手勢字母的識別方法，其特征在于，包括以下步驟：

步驟1)采用柔性可穿戴捕捉設備與圖像捕捉設備相結合的方式進行細節動作采集；

步驟2)通過將微型傳感器安裝在半裸手套上進行穿戴的方式將傳感器依附在手部；

步驟3)通過安裝在手部各個關節和手背部的微型電子定位器和陀螺儀實現手部姿態細節的采集；

步驟4)通過安裝在身體外部一定距離的攝像頭完成對使用者身體部位的圖像檢測；

步驟5)通過柔性電路和微型嵌入式設備實現穿戴方便舒適；

步驟6)通過搭建在嵌入式設備上的語音播報模塊和液晶屏實現識別手語的播報與顯示；

步驟7)通過外部GPU設備處理攝像頭傳輸的實時圖像；

步驟8)通過藍牙模塊實現可穿戴設別與GPU設備之間的數據傳輸；

步驟9)處理器內部會對采集圖像首先運用多種圖像處理算法進行預處理提高運算的效率；

步驟10)處理器內部的算法會融合圖像和多傳感器的數據進行手部運動信息的處理，根據訓練的具有九軸十六點的手部映射骨骼輪廓決策模型進行手語結果匹配。

2.一種實現權利要求1所述方法的人體手勢字母的識別裝置，其特征在于，包括：電源設備、圖像采集設備、內置GPU服務器的核心處理器的外部GPU設備和內置陀螺儀和電子定位傳感器、顯示語音播報模塊和藍牙模塊的手勢終端設備，其中：圖像采集設備采集包含使用者的人體軀干信息和手勢狀態信息的視頻數據并輸出至核心處理器，核心處理器中的GPU服務器從視頻數據中提取出手勢信息融合可穿戴部分傳來的關鍵關節的運動數據，與標示特征庫中的樣本匹配，進一步識別出相應的手勢字母經過最后篩選后通過語音和顯示模塊進行播報顯示反饋。

3.根據權利要求2所述的識別裝置，其特征是，所述的識別，通過多種圖像算法對采集圖像進行預處理并融合手勢狀態運動信息得到手勢所指方位，從而識別出所表達的手勢信息，并將最終識別出的手勢字母輸出至聲音播放和顯示裝置進行聲音和顯示反饋；

所述的外部設備包括聲音播放設備和/或圖像顯示設備，用于手勢識別信息的反饋；

所述的電子定位傳感器通過針織物依附于手指各個關節處用于采集手指關節的運動角度并通過藍牙模塊將整合的運動數據實時輸出至核心GPU處理器為內部算法提供手勢運動數據。

4.根據權利要求2所述的識別裝置，其特征是，所述的人體手勢字母的識別裝置采用柔性電路和微型模塊化設計，排除繁多的線路走線，且每個關節可以利用微型模塊檢測運動信息，用柔性電路按照手勢運動趨勢相連接各個微型模塊，使得穿戴起來沒有較大的束縛力，手套也是采用的半裸式粘貼設計，只有關節處需要依附傳感器的部分才會有針織物粘貼這使得該設備穿戴起來沒有束縛力。

5.根據權利要求2所述的識別裝置，其特征是，所述的手部運動信息的處理是指：以人體手勢字母的樣本圖像作為樣本數據，首先運用OPENCV庫內的內置函數進行圖像的預處理，采用改進的OPENPOSE人體姿態檢測算法和手語關節各個運動傳感器的運動數據進行算法融合，訓練出具有九軸十六點的手部映射骨骼輪廓決策模型，根據實時傳入的融合數據生成手部各個關節鏈角和指向的數據以構建實時手部模型，與決策模型內各個手語生成的特定手語姿態的決策數據進行匹配。

6.根據權利要求2所述的識別裝置，其特征是，所述的識別，利用改進的OPENPOSE姿態算法檢測出的融合運動信息的手勢輪廓，該改進算法結合手勢可穿戴部分提取出的關節運動關節的數據進行手勢識別，該運動信息包括選取的16個關鍵點的角度、加速度信息，改進的OPENPOSE姿態識別算法會對置信度高于0.8的識別手勢進行記錄，與系統文件內特征標識手勢模型通過KNN算法進行匹配，最終的到匹配的特征數據，最后輸出播報顯示出識別出的手勢代表。