[發明專利]一種基于視頻的實時手部追蹤方法和系統

在審

• 申請號: 202011074015.4
• 申請日: 2020-10-12
• 公開（公告）號: CN112183424A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京華嚴互娛科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于視頻的實時手部追蹤方法，其特征在于，包括：

輸入視頻幀圖像；

通過一手掌檢測模型對所述視頻幀圖像進行實時手掌檢測，并對檢測到手掌進行圖像裁剪，得到手掌圖像；

通過一手部標識模型對所述手掌圖像進行手指關鍵點定位檢測，得到所述手掌圖像上的每個手指關鍵點的坐標位置并標識；

通過一手勢識別模型對所述手部標識模型所標識的手勢圖像進行手勢識別，得到手部姿態實時識別結果。

2.根據權利要求1所述的基于視頻的實時手部跟蹤方法，其特征在于，訓練所述手掌檢測模型的方法包括如下步驟：

選定30000張包含手掌的所述視頻幀圖像作為所述手掌檢測模型的訓練樣本；

將作為訓練樣本的所述視頻幀圖像輸入到一深度學習網絡中，訓練形成一手掌檢測初始模型；

通過所述手掌檢測初始模型對所述視頻幀圖像進行手掌檢測，輸出檢測結果；

對所述手掌檢測初始模型輸出的所述檢測結果進行人工校驗以評估模型性能，然后根據模型性能評估結果調整所述深度學習網絡的模型訓練參數；

根據所調整的模型訓練參數，并以所述視頻幀圖像為訓練樣本，對所述手掌檢測初始模型進行迭代更新，最終訓練形成所述手掌檢測模型。

3.根據權利要求2所述的基于視頻的實時手部追蹤方法，其特征在于，所述深度學習網絡為RPN網絡結構的神經網絡。

4.根據權利要求3所述的基于視頻的實時手部追蹤方法，其特征在于，所述視頻幀圖像的尺寸為256×256。

5.根據權利要求4所述的基于視頻的實時手部追蹤方法，其特征在于，所述深度學習網絡包括依次級聯的5個卷積層，尺寸為256×256的所述視頻幀圖像經所述深度學習網絡的第一卷積層的圖像特征提取后輸出128×128的特征圖；尺寸為128×128的特征圖經第二卷積層的圖像特征提取后輸出64×64的特征圖；64×64的特征圖經第三卷積層的圖像特征提取后輸出32×32的特征圖；32×32的特征圖經第四卷積層的圖像特征提取后輸出16×16的特征圖；16×16的特征圖經第五卷積層的圖像特征提取后輸出8×8的特征圖。

6.根據權利要求1所述的基于視頻的實時手部追蹤方法，其特征在于，所述手指關鍵點包括21個具有3D坐標的可表征出手掌形狀的手指關鍵點。

7.根據權利要求1所述的基于視頻的實時手部追蹤方法，其特征在于，所述手勢識別模型識別手勢的方法包括如下步驟：

根據手指關鍵點標識結果，按照預設尺寸從所述手掌圖像上裁剪出所述手勢圖像；

將所述手勢圖像與存儲于一圖像數據庫中的分類模板圖像進行圖像匹配，每張所述分類模板圖像關聯一手勢類型，若圖像匹配成功，則輸出所匹配的所述分類模板圖像所關聯的所述手勢類型作為對所述手勢圖像的手勢識別結果。

8.一種基于視頻的實時手部追蹤系統，可實現如權利要求1-7人員一項所述的實時手部追蹤方法，其特征在于，包括：

圖像輸入模塊，用于輸入視頻幀圖像；

手掌檢測模塊，連接所述圖像輸入模塊，用于通過一手掌檢測模型對所述視頻幀圖像進行實時手掌檢測，并對檢測到的手掌進行圖像裁剪，得到手掌圖像；

手部標識模塊，連接所述手掌檢測模塊，用于通過一手部標識模型對所述手掌圖像進行手指關鍵點定位檢測，得到所述手掌圖像上的每個手指關鍵點的坐標位置并標識；

手勢識別模塊，連接所述手部標識模塊，用于通過一手勢識別模型對所述手部標識模型所標識的手勢圖像進行手勢識別，得到手部姿態實時識別結果。