[發明專利]一種實時手勢識別方法、裝置及人機交互系統

有效

• 申請號: 202011109960.3
• 申請日: 2020-10-16
• 公開（公告）號: CN112148128B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 張展;左德承;馮懿;封威;劉宏偉;舒燕君;董劍;羅丹彥;吳桐;張園博;尚江衛;陳思遠;陳新昊
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V10/762;G06V10/764;G06N3/04
• 代理公司: 北京隆源天恒知識產權代理有限公司 11473
• 代理人: 鞠永帥

本發明提供了一種實時手勢識別方法、裝置、移動終端及人機交互系統，涉及手勢識別技術領域，包括：獲取手勢數據，所述手勢數據包括數據手套采集的傳感器數據；對所述手勢數據進行預處理，并對預處理后的手勢數據進行特征提取；將所述特征提取的結果輸入預訓練好的分層手勢識別模型進行多級手勢識別，確定手勢類型信息。本發明通過數據手套實時采集用戶的手勢數據，并對手勢數據進行有效的手勢分割等預處理操作，再通過構造有價值的特征信息集進行特征提取，并將提取后的特征信息輸入輕量級的分層手勢識別模型進行手勢識別，可在保證手勢識別準確度的基礎上，占用更少的系統資源，適用于面向移動終端的應用場景。

技術領域

本發明涉及手勢識別技術領域，具體而言，涉及一種實時手勢識別方法、裝置及人機交互系統。

背景技術

近年來，計算機的大面積普及以及相關學科的迅速發展使得人機交互 (Human-Computer Interaction，HCI)技術逐漸成為研究的熱門方向。在諸多人機交互方式中，與傳統的鍵盤鼠標等機械裝置相比，手勢交互是一種更自然、更符合人類習慣的人機交互方式。用手勢取代鍵盤、鼠標作為輸入控制計算機，能夠使人與機器間的交互更自然、更靈活，可將人們在日常生活中所獲得的經驗，直接運用到交互活動中。因此，手勢識別技術作為人機交互領域的重要分支，在為人類提供智能化生活方面具有重大意義。

現有的基于視覺的手勢識別方法，通過攝像頭采集手勢圖像并加以處理進而對手勢進行識別，是一種比較直觀的手段。該方法輸入方式為非接觸式，并且隨著圖像處理技術的發展，基于視覺的手勢識別是目前熱點較集中的研究領域。

但基于視覺的手勢識別目前還存在不少問題，例如由于手為多關節非剛性物體，在不同視角和不同動作下形變較大，二維投影時易產生遮擋，由此造成信息丟失；且由于受到目前計算機視覺技術的限制，在復雜背景下的手勢提取一直是難點，從而限制了基于視覺的手勢識別的大范圍應用。現有的基于視覺的手勢識別方法還會受到天氣惡劣、傳感器佩戴不規范等因素的影響，使手勢識別的準確度下降，影響手勢檢測的效果。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題，為達上述目的，第一方面，本發明提供了一種實時手勢識別方法，其包括：

獲取手勢數據，所述手勢數據包括數據手套采集的傳感器數據；

對所述手勢數據進行預處理，并對預處理后的手勢數據進行特征提取；

將所述特征提取的結果輸入預訓練好的分層手勢識別模型進行多級手勢識別，確定手勢類型信息，其中，所述分層手勢識別模型包括聚類模型、支持向量機模型和卷積神經網絡模型。

進一步地，所述對所述手勢數據進行預處理包括：對所述手勢數據進行手勢分割、滑動窗口平均濾波和標準化處理。

進一步地，所述對所述手勢數據進行手勢分割包括：

確定當前時刻的所述手勢數據與前一時刻的所述手勢數據的差分值；

當所述差分值小于預設手勢波動閾值時，將所述手勢數據加入滑動窗口；

當所述差分值大于所述預設手勢波動閾值時，將所述手勢數據計入波動數據；

對所述波動數據進行計數，當所述波動數據的計數值大于預設數據波動閾值時，將所述滑動窗口內的所述手勢數據確定為當前手勢，進行所述手勢分割。

進一步地，所述對預處理后的手勢數據進行特征提取包括：

對預處理后的手勢數據進行主成分分析，以提取所述預處理后的手勢數據的主要特征。

進一步地，所述將所述特征提取的結果輸入預訓練好的分層手勢識別模型進行多級手勢識別，確定手勢類型信息包括：

將所述特征提取的結果輸入預訓練好的分層手勢識別模型，確定分類置信度和對應的預分類結果；