[發明專利]基于動態手勢識別的人機交互方法及系統

有效

• 申請號: 202011402011.4
• 申請日: 2020-12-04
• 公開（公告）號: CN112506342B
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張恒星;劉丹
• 申請（專利權）人: 鄭州中業科技股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V40/16;G06V10/82;G06V10/80;G06V10/764;G06V10/762;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 周艷巧

本發明屬于人機交互技術領域，特別涉及一種基于動態手勢識別的人機交互方法及系統，包含：接收攝像頭采集的視頻圖像，對視頻圖像進行圖像處理獲取人臉圖像及對應人臉圖像的手勢控制人手勢區域；提取手勢控制人手勢區域特征信息，并依據特征信息確定手勢運動軌跡；通過對手勢運動軌跡進行分類識別來確定給與交互系統的控制信號，交互系統對控制信號進行匹配以做出相應交互應答。本發明通過人臉識別來獲取手勢控制人進而確定用于人機交互的相關控制人員的手勢運動軌跡，解決復雜場景下多人存在時非控制人的手勢對人機交互的干擾，提升用戶體驗，具有較好的應用前景。

技術領域

本發明屬于人機交互技術領域，特別涉及一種基于動態手勢識別的人機交互方法及系統。

背景技術

隨著計算機技術的發展，人與機器交互的重要性逐漸凸顯。通過對人機交互的發展歷程、人機交互現狀的研究和分析，可以看出未來的發展趨勢將傾向于自然交互的模式。人機交互的發展從原先的鍵盤輸入到鼠標、觸摸屏的出現再到手勢的逐漸興起,人機交互向著更加人性化、更加自然與便捷、更能體現出以人為中心的思想方向發展。

手勢作為一種包含豐富信息的人體姿態，在人機交互中應用十分廣泛。由于手勢的多樣性與復雜性，手勢運動在時間、空間上的差異性等特點，加上視覺本身存在的不確定性，使得人體手勢在識別問題上具有重大挑戰。手勢識別過程中復雜的背景信息對手勢識別造成很大的干擾，現有的手勢識別技術多是靜態的單張圖片的識別，靜態手勢的識別缺少了時空連續性信息，在人機交互的過程中很難準確地理解手勢的意義。現有的基于視頻連續幀的動態手勢識別技術準確率低，運行速度慢，在人機交互的過程中很難達到實時的互動效果，實用性不高，體驗性差。現有的人機交互都是背景要求比較苛刻，當控制場景中有多人存在時，其他人的手勢會對控制人的手勢產生影響，使機器難以理解控制人手勢包含的信息，交互信號會發生錯亂，很難準確地進行人機交互。

發明內容

針對傳統基于圖像的動態手勢識別速度慢、當場景中多人存在時多人手勢相互影響、手勢識別系統準確率底及人機交互過程中體驗性差等問題，本發明提供一種基于動態手勢識別的人機交互方法及系統，可以解決復雜場景下多人存在時非控制人的手勢對人機交互的干擾，提升用戶體驗。

按照本發明所提供的設計方案，一種基于動態手勢識別的人機交互方法，包含如下內容：

接收攝像頭采集的視頻圖像，對視頻圖像進行圖像處理獲取人臉圖像及對應人臉圖像的手勢控制人手勢區域；

提取手勢控制人手勢區域特征信息，并依據特征信息確定手勢運動軌跡；

通過對手勢運動軌跡進行分類識別來確定給與交互系統的控制信號，交互系統對控制信號進行匹配以做出相應交互應答。

作為本發明基于動態手勢識別的人機交互方法，進一步的，獲取人臉圖像時，依據數據庫中預先設置的人物優先級來確定人臉圖像中手勢控制人。

作為本發明基于動態手勢識別的人機交互方法，進一步地，通過構建人臉識別網絡，并利用預先采集的人臉數據樣本對人臉識別網絡進行模型訓練學習；利用訓練后的人臉識別網絡來獲取人臉圖像中手勢控制人信息。

作為本發明基于動態手勢識別的人機交互方法，進一步地，通過構建yolov3網絡，并利用預先采集的手勢數據樣本對yolov3網絡進行模型訓練學習；利用訓練后的yolov3網絡來獲取手勢區域信息。

作為本發明基于動態手勢識別的人機交互方法，進一步地，yolov3網絡包含深度殘差網絡模型及與該深度殘差網絡模型中殘差單元塊連接的若干尺度卷積層，利用尺度卷積層構建特征金字塔，并以N倍步長對特征金字塔進行上采樣，將獲取到的采樣特征與卷積特征進行特征融合，對不同尺度的特征進行特征回歸來并通過非極大抑制算法來計算當前得分最高的預測框與其他預測框交并比，按照閾值和得分濾除非手勢檢測框，以確定手勢區域。