[發明專利]一種引入運動學約束的3D網絡進行手部姿態估計的方法及系統

有效

• 申請號: 202010597038.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111489379B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 張一帆;孫琳暉;冷聰;盧漢清
• 申請（專利權）人: 中國科學院自動化研究所南京人工智能芯片創新研究院;中國科學院自動化研究所
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張磊

本發明提出了一種引入運動學約束的3D網絡進行手部姿態估計的方法及系統，包括以下步驟：步驟1、將原始的深度圖中定位出的手部區域轉化成體素化的輸入；步驟2、引入運動學約束的3D手部姿態估計網絡；步驟3、評估預測的關節點位置的準確性、并評估預測出的關節點所形成的手部姿態的合理性。該網絡以體素化的手部區域作為輸入，經過3D卷積神經網絡，預測表示關節點概率分布的3D heatmap。heatmap中最大值的位置也就是關節點的位置；利用3D heatmap獲得關節點的位置然后根據關節點之間的對應關系計算出骨骼的長度。通過對3D heatmap進行處理，獲得各個關節點的坐標以及對應的骨骼長度，從而可以利用修改損失函數的方式對預測的結果添加運動學約束。

技術領域

本發明涉及一種引入運動學約束的3D網絡進行手部姿態估計的方法及系統，涉及一般的圖像數據處理或產生G06T領域，尤其涉及G06T 7/20運動分析領域。

背景技術

手部姿態估計任務分為兩步，第一步是從深度圖中定位出手部區域，第二步則是從手部區域中預測出各個關節點的坐標。目前表現比較優秀的手部區域定位方法分為兩步，第一步是基于深度圖中距離攝像機越近深度值越低這一特點，假設手是距離攝像機最近的物體，通過設置深度閾值來獲得粗略的手部定位結果；第二步則是將粗略的手部定位區域輸入到如圖1所示的手部區域定位網絡（Com-RefineNet）中，預測出手掌心的坐標，然后再根據預設的手部大小來獲得最終的手部定位結果。

手是一個結構化物體，各個關節點通過骨骼連接形成的手部姿態需要滿足物理學約束。所以在手部姿態估計任務中，除了要考慮預測的關節點位置的準確性，還需要考慮預測出的關節點所形成的手部姿態是否合理。

發明內容

發明目的：一個目的是提出一種引入運動學約束的3D網絡進行手部姿態估計的方法，以解決現有技術存在的上述問題。進一步目的是提出一種實現上述方法的系統。

技術方案：一種引入運動學約束的3D網絡進行手部姿態估計的方法，包括以下步驟：

步驟1、將原始的深度圖中定位出的手部區域轉化成體素化的輸入；

步驟2、引入運動學約束的3D手部姿態估計網絡；

步驟3、評估預測的關節點位置的準確性、并評估預測出的關節點所形成的手部姿態的合理性。

在進一步的實施例中，所述步驟1進一步包括：

步驟1-1、利用手部區域定位網絡從深度圖中定位出手部區域；

步驟1-2、將深度圖中定位出的手部區域投影到3D空間；

步驟1-3、針對投影到3D空間的數據，根據預設的體素大小進行離散化處理；

步驟1-4、根據該位置是否被離散的點所覆蓋來判斷體素各個位置的值，被覆蓋則值設為1，未被覆蓋則值設為0。

在進一步的實施例中，所述步驟2進一步包括：

該網絡以體素化的手部區域作為輸入，經過3D卷積神經網絡，預測表示關節點概率分布的3D heatmap；通過對3D heatmap進行處理，獲得各個關節點的坐標以及對應的骨骼長度，從而可以利用修改損失函數的方式對預測的結果添加運動學約束。

在進一步的實施例中，對預測的結果添加運動學約束需要對3D heatmap進行處理，網絡預測出的3D heatmap代表了單個關節點的概率分布，heatmap中最大值的位置也就是關節點的位置；利用3D heatmap獲得關節點的位置然后根據關節點之間的對應關系計算出骨骼的長度；提出一個Soft-argmax函數，以一種可導的方式來從3D heatmap中獲得關節點的坐標：