[發明專利]可穿戴設備的手臂手勢交互方法、系統和電子設備

在審

• 申請號: 202210235834.5
• 申請日: 2022-03-11
• 公開（公告）號: CN114647310A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 趙家偉
• 申請（專利權）人: 杭州芮科科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V10/80;G06V10/764;G06K9/00;G06V10/44;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京恒泰銘睿知識產權代理有限公司 11642
• 代理人: 胡琳麗

本申請涉及可穿戴設備的指令交互的領域，其具體地公開了一種可穿戴設備的手臂手勢交互方法、系統和電子設備。其通過卷積神經網絡模型對所述手臂圖像的序列以及生物電信號的信號波形圖進行處理，以提取出所述圖像序列中的運動信息和所述信號波形圖中的局部關聯特征，進一步基于似然性最大化的高斯密度圖對所述特征向量和所述特征矩陣進行有效地融合，以使得后續分類的結果更為準確。這樣，可以更精準地對手勢手臂類型進行識別，以更加準確地理解人體的行為所表達的意愿，進而給人們帶來更加滿意的體驗感。

技術領域

本發明涉及可穿戴設備的指令交互的領域，且更為具體地，涉及一種可穿戴設備的手臂手勢交互方法、系統和電子設備。

背景技術

隨著科技的進步以及生活水平的不斷提高，智能可穿戴設備逐漸步入人們的眼簾，也逐漸融入到人們的生活當中，成為了一系列家喻戶曉的電子產品。然而，受限于智能可穿戴設備自身可穿戴、便攜的特性，它們的尺寸設計通常較小，只能配備很小的觸摸屏甚至沒有觸摸屏。這就使得原本適合于手機的點按控制難以在可穿戴設備中使用。

因此，為了改善用戶在控制可穿戴設備時的體驗，近年來研究者們致力于研究通過各種設備識別人體的行為來理解人體動作所表達的意愿。人體的手勢動作從動作的運動范圍主要可以分為兩種，一種是微粒度的手指上的動作，一種是粗粒度的手臂運動所產生的動作。現有的一些方案只是在手指的微粒度或者手臂的粗粒度上進行特定的識別，且識別的手勢或手臂類型的準確率和精度都達不到人們滿意的效果。因此，為了在識別人體的行為時結合手勢動作和手指動作這兩者的特性，以更精準地對手勢手臂類型進行識別，期望一種可穿戴設備的手臂手勢交互方案。

發明內容

為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種可穿戴設備的手臂手勢交互方法、系統和電子設備，其通過卷積神經網絡模型對所述手臂圖像的序列以及生物電信號的信號波形圖進行處理，以提取出所述圖像序列中的運動信息和所述信號波形圖中的局部關聯特征，進一步基于似然性最大化的高斯密度圖對所述特征向量和所述特征矩陣進行有效地融合，以使得后續分類的結果更為準確。這樣，可以更精準地對手勢手臂類型進行識別，以更加準確地理解人體的行為所表達的意愿，進而給人們帶來更加滿意的體驗感。

根據本申請的一個方面，提供了一種可穿戴設備的手臂手勢交互方法，其包括：

獲取由攝像頭采集的手臂圖像的序列；

將所述手臂圖像的序列輸入作為過濾器的第一卷積神經網絡以獲得長度為所述第一卷積神經網絡的通道數的特征向量；

獲取由肌電傳感器在采集所述手臂圖像的序列的時間內所捕捉的生物電信號的信號波形圖；

將所述信號波形圖輸入作為特征提取器的第二卷積神經網絡以獲得尺寸為寬度*高度的特征矩陣，所述寬度為所述信號波形圖的寬度，所述高度為所述信號波形圖的高度；

通過線性變換將所述特征向量和所述特征矩陣轉化相同尺度，其中，所述特征向量V的長度為L，所述特征矩陣M的尺寸為L×L；

基于所述特征向量V和所述特征矩陣M，構造基于似然性最大化的高斯密度圖的向量化的高斯分布，其中，所述向量化的高斯分布的均值向量基于所述特征向量V與所述特征矩陣M之間的點乘確定，所述向量化的高斯分布的方差矩陣基于所述特征向量V與所述特征矩陣M之間的點乘與所述均值向量之間的差值確定；

對所述向量化的高斯分布的每個位置的高斯分布進行高斯離散化以獲得分類特征圖；

將所述分類特征圖通過分類器以獲得所述手臂圖像的序列和所述信號波形圖歸屬于預定手勢的概率；

基于所述手臂圖像的序列和所述信號波形圖歸屬于預定手勢的概率，確定手勢類型；以及

基于所述手勢類型，確定交互指令。