[發明專利]一種深度學習輔助的非接觸式手勢識別裝置及方法

在審

• 申請號: 202210877947.5
• 申請日: 2022-07-25
• 公開（公告）號: CN115145399A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 毛彥超;周豪;肖卓;李旺展;胡錦輝;朱鵬程;潘志峰;馮天星;吳競
• 申請（專利權）人: 鄭州大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04;G06N3/08;G06V10/82;G06V40/20
• 代理公司: 北京圣州專利代理事務所(普通合伙) 11818
• 代理人: 何世常

本發明公開了一種深度學習輔助的非接觸式手勢識別裝置及方法，包括傳感器陣列、信號采集模塊、數據處理模塊、深度學習模塊、通訊模塊；傳感器陣列由液態金屬導電層、高分子彈性纖維層、粘性水凝膠層組成；傳感器陣列感應不同非接觸手勢引起的空間電場的變化，電場的變化會使液態金屬導電層產生極化而產生不同的電信號；信號采集模塊采集由非接觸手勢產生的不同電信號，并交由數據處理模塊進行濾波、抽樣、整形處理；深度學習模塊依據處理后的電信號實時預測手勢類型，然后通過通訊模塊發送相應動作指令給外圍設備。本發明采用上述手勢識別裝置及方法，實現了復雜手勢的非接觸式識別，操作簡單，交互體驗感好，受環境影響小，衛生性高。

技術領域

本發明涉及人機交互技術領域，尤其是涉及一種深度學習輔助的非接觸式手勢識別裝置及方法。

背景技術

人機交互技術作為一種人與機器之間交換信息的技術，在日常生活中扮演著舉足輕重的角色。新冠等流行性傳染病的傳播，使得非接觸手勢識別與操控受到廣泛關注。非接觸手勢識別具備衛生、便捷、體驗感好等優點，能夠降低交叉感染的風險，提高人機交互的自由度，在智能生活、VR、醫療等領域有著獨特的應用優勢。

目前報道的非接觸手勢識別主要是基于濕度/紅外/電容式/磁感應式/電磁效應式的傳感器和基于視覺的傳感器實現。其中，濕度/紅外/電容式傳感器只能夠識別有限的、簡單的非接觸式手勢，例如靠近、遠離、滑動等。磁感應式傳感器往往需要穿戴復雜的磁鐵配件，降低了交互體驗感。基于電磁效應的傳感方式需要復雜的傳感器結構及系統。基于視覺的傳感器不能在光照不足的環境有效工作。因此，需要一種機器學習輔助的，結構簡單，對環境要求低，可準確識別多種復雜三維手勢的非接觸手勢識別裝置。

發明內容

本發明的目的在于提供一種深度學習輔助的非接觸式手勢識別裝置及方法，基于人體靜電感應手勢動作，并利用神經網絡進行預測，無需依賴復雜結構即可實現準確識別多種復雜的非接觸手勢，而且降低了環境對識別過程的干擾。

為實現上述目的，本發明提供了如下技術方案，

一種深度學習輔助的非接觸式手勢識別裝置，包括：

傳感器陣列，液態金屬基于靜電感應原理，感應手勢引起的空間電場變化；

信號采集模塊，采集傳感器陣列因手勢產生的麥克斯韋位移電流信號；

數據處理模塊，對麥克斯韋位移電流信號進行濾波、抽樣、整形處理；

深度學習模塊，由已訓練過的多層感知機神經網絡組成，根據處理后的麥克斯韋位移電流信號實時判斷手勢類型，并確定動作指令；

通訊模塊，依據TCP/IP協議將動作指令下發至外圍設備。

優選的，傳感器陣列從上至下依次包括液態金屬導電層、高分子彈性纖維層、粘性水凝膠層，且液態金屬導電層由3×3陣列分布的液態金屬導電塊組成。

相應的，對照上述裝置，本發明還提出了一種深度學習輔助的非接觸式手勢識別方法，包括：

S1、液態金屬通過極化感應因手勢動作引起的空間電場變化；

S2、采集液態金屬因極化產生的麥克斯韋位移電流信號；

S3、對麥克斯韋位移電流信號進行濾波、抽樣、整形處理；

S4、將處理后的麥克斯韋位移電流信號輸入到多層感知機神經網絡中，以實時預測手勢類型，并確定手勢類型對應的動作指令；

S5、依據TCP/IP協議將動作指令下發至外圍設備。

綜上，本發明采用上述非接觸式手勢識別裝置及方法，具備如下優勢：

1、借助深度學習算法，可實現三維復雜手勢的準確識別，包括握拳、張手、旋轉手掌、翻轉手掌等非接觸式手勢；