[發(fā)明專利]一種3D人體姿態(tài)估計模型訓練方法

在審

• 申請?zhí)枺?/td>: 202010165761.8
• 申請日: 2020-03-11
• 公開（公告）號: CN111523379A
• 公開（公告）日: 2020-08-11
• 發(fā)明（設計）人: 吳哲夫;肖新宇;章瑩婷;李瑋毅;呂曉哲
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述方法包括以下步驟：

步驟1：獲取目標人體的3D圖像，將圖像輸入到空間變換網(wǎng)絡，輸出增強后的圖像；

步驟2：在增強后的圖像空間中設置錨點后輸入到3D姿態(tài)估計網(wǎng)絡的特征提取層，得到樣本特征；

步驟3：利用預測器對樣本特征圖進行預測，得到樣本空間特征圖中每個錨點對其他所有人體關節(jié)點的體素坐標偏移量和置信度，利用置信度對體素坐標偏移量進行加權求和得到空間樣本圖像中人體關節(jié)點的信息；

步驟4：以空間樣本圖像中人體關節(jié)點坐標偏移損失和錨點的環(huán)繞損失最小為目的來訓練網(wǎng)絡模型，得到訓練好的姿態(tài)估計模型。

2.如權利要求1所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟1中，3D圖像要經(jīng)過體素化處理。

3.如權利要求1或2所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟1中，空間變換網(wǎng)絡由以下三個部分構成：

第一個是本地化網(wǎng)絡，它由常規(guī)的卷積神經(jīng)網(wǎng)絡構成，可以對變換參數(shù)進行回歸；

第二個是網(wǎng)格生成器，它在輸入圖像中生成與來自輸出圖像的每個體素相對應的坐標網(wǎng)格；

第三個是采樣器，它將轉(zhuǎn)換參數(shù)應用到輸入圖像當中。

4.如權利要求1或2所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟2中，在圖像空間中設置錨點的處理過程為：

在3D樣本圖像的X軸、Y軸和Z軸三個方向上以固定的間距K設置多個錨點，K的取值范圍為1個體素～10個體素。

5.如權利要求1或2所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟3中，獲取人體關節(jié)點信息的處理過程為：

利用預測器對樣本特征圖進行預測，得到樣本特征圖中每個錨點相對于其他目標人體關節(jié)點的體素坐標偏移量O_j(a)和置信度C_j(a):

對所有錨點a的置信度C進行歸一化處理，歸一化函數(shù)為：

其中，為歸一化后的錨點a對于關節(jié)點j的置信度，a是錨點體素，A是錨點取值集和，j代表關節(jié)點，e為常數(shù)；

利用歸一化后的置信度對體素坐標偏移量進行加權求和得到樣本圖像中的目標關節(jié)點信息：

其中，就是加權求和得到的關節(jié)點j的坐標，S(a)是錨點的體素坐標，O_j(a)是預測器預測得到的錨點a對于關節(jié)點j的體素坐標偏移。

6.如權利要求5所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟4中，空間樣本圖像中人體關節(jié)點坐標偏移損失為：

其中，表示樣本圖像中目標關節(jié)點在相機坐標系下的偏移量標注；α表示權衡相機坐標系下和世界坐標系下產(chǎn)生的損失的權重，其取值范圍為0.1～10；J表示樣本圖像中所有目標關節(jié)點的集和，j表示某個特定關節(jié)點，L₁為空間樣本圖像中人體關節(jié)點坐標偏移損失，L_τ1為相機坐標系下的平滑系數(shù)。

7.如權利要求5所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟4中，空間樣本圖像中錨點環(huán)繞損失為：

其中，L₂為錨點環(huán)繞損失。

8.如權利要求7所述的一種3D人體姿態(tài)估計模型訓練方法，其特征在于，所述步驟4中，姿態(tài)估計網(wǎng)絡模型在訓練時，總的損失函數(shù)為：

L＝λL₁+(1-λ)L₂

其中，λ的取值范圍為0～1。