[發(fā)明專利]一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法

在審

• 申請?zhí)枺?/td>: 202110471854.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113128446A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 唐杰;武港山;張哲;唐玉婷;薛占奎
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京天翼專利代理有限責(zé)任公司 32112
• 代理人: 奚銘

1.一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，其特征是構(gòu)建一個信念圖增強(qiáng)網(wǎng)絡(luò)，對人體姿態(tài)估計基礎(chǔ)模型輸出的信念圖提高分辨率，信念圖增強(qiáng)網(wǎng)絡(luò)由若干個卷積層和一個亞像素卷積層構(gòu)成，將基礎(chǔ)模型輸出的特征圖和信念圖進(jìn)行拼接，作為信念圖增強(qiáng)網(wǎng)絡(luò)的輸入，輸出一組更高分辨率的信念圖；在訓(xùn)練信念圖增強(qiáng)網(wǎng)絡(luò)時，根據(jù)訓(xùn)練集中的標(biāo)注信息生成低分辨率信念圖標(biāo)簽和高分辨率信念圖標(biāo)簽，低分辨率信念圖標(biāo)簽對應(yīng)基礎(chǔ)模型的輸出分辨率，高分辨率信念圖標(biāo)簽對應(yīng)信念圖增強(qiáng)網(wǎng)絡(luò)的輸出分辨率，訓(xùn)練時利用MESLoss函數(shù)分別計算兩種分辨率下預(yù)測結(jié)果與真實標(biāo)簽之間的均方誤差，求二者的加權(quán)和，并以此推導(dǎo)信念圖增強(qiáng)網(wǎng)絡(luò)各層參數(shù)的梯度，使用Adam優(yōu)化器進(jìn)行監(jiān)督訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，其特征是訓(xùn)練集具體為：生成信念圖標(biāo)簽時，對于一個人體樣本，首先根據(jù)規(guī)定的關(guān)鍵點數(shù)量K定義一個具有K個通道的全黑圖像，即該圖像中每個像素點的灰度值都是0，然后按照該樣本的標(biāo)注信息，對于每一個關(guān)鍵點坐標(biāo)，在上述全黑圖像的對應(yīng)通道處以該坐標(biāo)點為中心生成一個高斯二維分布，從而得到一個具有K個通道的信念圖，若指定信念圖增強(qiáng)網(wǎng)絡(luò)生成的信念圖分辨率與原始圖像的分辨率不同，則在生成高斯二維分布時將標(biāo)準(zhǔn)差乘上相應(yīng)的縮放因子r。

3.根據(jù)權(quán)利要求2所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，其特征是信念圖增強(qiáng)網(wǎng)絡(luò)中，亞像素卷積層的輸出通道數(shù)由參數(shù)k*r²控制。

4.根據(jù)權(quán)利要求1或2或3所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，其特征是對信念圖增強(qiáng)網(wǎng)絡(luò)的訓(xùn)練具體為：根據(jù)訓(xùn)練集的不同分辨率的信念圖標(biāo)簽，利用MSELoss函數(shù)分別計算不同分辨率下的預(yù)測損失，然后將兩類預(yù)測損失按比例相加作為網(wǎng)絡(luò)最終的損失函數(shù)，通過最終損失函數(shù)的值計算模型中各網(wǎng)絡(luò)層的參數(shù)梯度，使用Adam優(yōu)化器對其進(jìn)行監(jiān)督訓(xùn)練，其中，對信念圖增強(qiáng)網(wǎng)絡(luò)的訓(xùn)練需要150個epoch，訓(xùn)練時的學(xué)習(xí)率初始化為0.001，分別在第60個epoch和第90個epoch進(jìn)行一次衰減，學(xué)習(xí)率衰減后變?yōu)樵鹊氖种弧?/p>

5.根據(jù)權(quán)利要求4所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，其特征是在訓(xùn)練過程中，還對訓(xùn)練集進(jìn)行增強(qiáng)操作來提升模型的泛化能力，所述增強(qiáng)操作包括旋轉(zhuǎn)和縮放，其中，旋轉(zhuǎn)操作繞圖像中心點以[-40^°,+40^°]的隨機(jī)角度進(jìn)行旋轉(zhuǎn)；縮放操作以[1-0.3,1+0.3]的比例進(jìn)行縮放。

6.根據(jù)權(quán)利要求4所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，其特征是將兩類預(yù)測損失以1:1的比例相加作為網(wǎng)絡(luò)最終的損失函數(shù)。