[發明專利]捏合手勢檢測識別方法、裝置及系統

有效

• 申請號: 202110182469.1
• 申請日: 2021-02-07
• 公開（公告）號: CN112926423B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/64;G06V10/28;G06V10/82;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 郭曼

本發明涉及圖像識別技術領域，提供一種捏合手勢檢測識別方法，應用于電子裝置，包括實時獲取待檢測視頻中每一幀的圖像數據；基于預訓練的手部檢測模型對圖像數據進行手部定位檢測，確定圖像數據的手部位置；基于預訓練的骨骼點識別模型對確定后的手部位置進行骨骼點識別，確定手部位置上的預設個數的骨骼點；根據預設手指的骨骼點間的距離信息確定與圖像數據對應的手部是否為捏合手勢。利用上述發明能夠快速、準確的對用戶手勢進行檢測及識別，提高用戶對人造現實系統的體驗效果。

技術領域

本發明涉及圖像檢測技術領域，更為具體地，涉及一種捏合手勢檢測識別方法、裝置及系統。

背景技術

目前，VR/AR/MR一體機設備越來越多的進入到人們生活中，其主要的應用場景是當用戶進行VR/AR/MR場景交互時，通過頭戴上的多目追蹤攝像頭自動識別跟蹤用戶手一些行為軌跡信息，并通過手的一些行為軌跡檢測手勢指令，然后作為人造虛擬現實系統的輸入信息，和虛擬場景進行交互。

其中，對于上述一體設備的空間定位方式，比較普遍和流行的是在一體機設備上內置一個或者多個單色魚眼追蹤相機，通過追蹤相機實時定位一體機設備相對物理空間環境的位置和姿態信息。此外，為增強VR/AR/MR一體機設備的虛實結合的沉浸感，使此類設備具有更好的人機交互體驗，作為關鍵模塊的手勢交互模塊必不可少，且其在VR/AR/MR的場景交互中占據著越來越重要的位置。

現有的手勢交互模塊在采集用戶手部動作信息時，通常是在手臂采集手部動作的肌電信號，然后根據肌電信號判斷手部動作，該方式成本高，且需要對應的手臂采集裝置，用戶佩戴體驗效果差；此外，采用簡單的手勢識別模型，通過識別模型直接進行手勢識別，對手指的識別精度較差，容易出現誤判，適用場景受限，影響用戶體驗。

發明內容

鑒于上述問題，本發明的目的是提供一種捏合手勢檢測識別方法、裝置及系統，以解決現有手勢檢測方法存在的成本高、佩戴效果差，或者識別精度提，影響用戶體驗等問題。

本發明提供的捏合手勢檢測識別方法，應用于電子裝置，包括：實時獲取待檢測視頻中每一幀的圖像數據；基于預訓練的手部檢測模型對圖像數據進行手部定位檢測，確定圖像數據的手部位置；基于預訓練的骨骼點識別模型對確定后的手部位置進行骨骼點識別，確定手部位置上的預設個數的骨骼點；根據預設手指的骨骼點間的距離信息確定與圖像數據對應的手部是否為捏合手勢。

此外，優選的技術方案是，每一幀的圖像數據通過至少兩個魚眼追蹤相機獲取，確定手部位置上的預設個數的骨骼點的步驟包括：基于骨骼點識別模型確定手部位置上的預設個數的骨骼點的二維坐標信息；根據二維坐標信息及立體三角成像原理，實時獲取與二維坐標信息對應的三維位置坐標信息；其中，三維位置坐標信息用于確定預設手指的骨骼點間的距離信息。

此外，優選的技術方案是，根據預設手指的骨骼點間的距離信息確定手部是否為捏合手勢的步驟包括：根據三維坐標位置信息，確定預設預手指對應的骨骼點之間的三維歐式距離；當三維歐氏距離小于預設閾值時，確定手部為捏合手勢；否則，當三維歐氏距離大于等于預設閾值時，確定手部為非捏合手勢。

此外，優選的技術方案是，還包括：通過手部檢測模型獲取手部位置在對應的圖像數據上的ROI，并獲取與ROI對應的ROI圖像；對ROI圖像進行二值化處理，獲取對應的二值化圖像；基于骨骼點及圖像處理原理，獲取二值化圖像中的預設手指之間的輪廓信息；獲取與輪廓信息對應的輪廓特征距離以及預設手指的指尖骨骼點之間的歐式距離；當輪廓特征距離大于歐式距離，且手部位置的預設兩手指之間的三維歐氏距離小于預設閾值時，確定手部為捏合手勢。

此外，優選的技術方案是，手部檢測模型的訓練過程包括：對獲取的訓練圖像數據中的目標區域進行標注，并獲取標注的位置信息；其中，目標區域為手部區域；利用yolo模型對標注后的位置信息進行參數訓練，直至yolo模型收斂在對應的預設范圍內，以完成手部檢測模型的訓練。