[發明專利]一種3D人體姿態估計模型訓練方法

在審

• 申請號: 202010165761.8
• 申請日: 2020-03-11
• 公開（公告）號: CN111523379A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 吳哲夫;肖新宇;章瑩婷;李瑋毅;呂曉哲
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種3D人體姿態估計模型訓練方法，屬于數字圖像處理和機器學習的交叉技術領域，其中訓練方法包括：構建姿態估計網絡模型，獲取目標3D樣本圖像，在樣本圖像上以固定間距設置錨點后將圖像矩陣輸入至網絡模型，經過多輪迭代訓練后得到訓練好的姿態估計模型。利用訓練好的網絡模型可以對包含人體姿態的圖像進行姿態估計。本發明采用空間設置錨點的方法，對人體的關節點坐標進行預測，能夠獲得很高的準確率；同時，計算量比傳統的3D姿態估計要低得多，具有一定的應用前景。

技術領域

本發明屬于數字圖像處理和機器學習的交叉技術領域，更具體地，涉及一種3D人體姿態估計模型訓練方法。

背景技術

隨著計算機視覺技術的發展，針對深度圖以及RGB圖的姿態估計技術快速發展。姿態估計在人機交互、增強現實、人體行為分析、醫療康復、游戲等領域中都被作為基礎技術被廣泛應用。下面介紹目前常用的姿態估計算法：

現有的人體姿態估計方法通常分為三類：模型擬合方法，鑒別式方法以及混合方法。模型擬合方法利用優化方法把預定義好的手模型匹配到輸入深度圖像中。鑒別式方法則完全是數據驅動的方法，其目標是通過有標簽的訓練數據，學習出一個回歸器，對輸入的深度圖像預測人體的姿態信息。混合方法則是前述兩種方法的結合，通常先通過鑒別式方法得到初始的估計，再利用模型擬合方法來對結果進行修正。

然而，由于遮擋目前關鍵點預測的任務還存在泛化性能差、模型復雜度高、時間復雜度高等問題。

發明內容

為了克服現有的3D人體姿態估計方法難以獲得高精度的人體3D關節點坐標，以及時間復雜度較高的問題，本發明提出了一種準確率較高、降低計算量的利用空間錨點的3D人體姿態估計模型訓練方法。

為了實現上述目的，本發明提供了如下的技術方案：

一種3D人體姿態估計模型訓練方法，所述方法包括以下步驟：

步驟1：獲取目標人體的3D圖像，將圖像輸入到空間變換網絡，輸出增強后的圖像；

步驟2：在增強后的圖像空間中設置錨點后輸入到3D姿態估計網絡的特征提取層，得到樣本特征；

步驟3：利用預測器對樣本特征圖進行預測，得到樣本空間特征圖中每個錨點對其他所有人體關節點的體素坐標偏移量和置信度，利用置信度對體素坐標偏移量進行加權求和得到空間樣本圖像中人體關節點的信息；

步驟4：以空間樣本圖像中人體關節點坐標偏移損失和錨點的環繞損失最小為目的來訓練網絡模型，得到訓練好的姿態估計模型。

進一步，所述步驟1中，3D圖像要經過體素化處理。

再進一步，所述步驟1中，空間變換網絡由以下三個部分構成：

第一個是本地化網絡，它由常規的卷積神經網絡構成，可以對變換參數進行回歸；

第二個是網格生成器，它在輸入圖像中生成與來自輸出圖像的每個體素相對應的坐標網格；

第三個是采樣器，它將轉換參數應用到輸入圖像當中。

所述步驟2中，在圖像空間中設置錨點的處理過程為：

在3D樣本圖像的X軸、Y軸和Z軸三個方向上以固定的間距K設置多個錨點，K的取值范圍為1個體素～10個體素。

所述步驟3中，獲取人體關節點信息的處理過程為：

利用預測器對樣本特征圖進行預測，得到樣本特征圖中每個錨點相對于其他目標人體關節點的體素坐標偏移量O_j(a)和置信度C_j(a):

對所有錨點a的置信度C進行歸一化處理，歸一化函數為：