[發(fā)明專(zhuān)利]一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110471854.8
• 申請(qǐng)日: 2021-04-29
• 公開(kāi)（公告）號(hào): CN113128446A
• 公開(kāi)（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 唐杰;武港山;張哲;唐玉婷;薛占奎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京天翼專(zhuān)利代理有限責(zé)任公司 32112
• 代理人: 奚銘

1.一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法，其特征是構(gòu)建一個(gè)信念圖增強(qiáng)網(wǎng)絡(luò)，對(duì)人體姿態(tài)估計(jì)基礎(chǔ)模型輸出的信念圖提高分辨率，信念圖增強(qiáng)網(wǎng)絡(luò)由若干個(gè)卷積層和一個(gè)亞像素卷積層構(gòu)成，將基礎(chǔ)模型輸出的特征圖和信念圖進(jìn)行拼接，作為信念圖增強(qiáng)網(wǎng)絡(luò)的輸入，輸出一組更高分辨率的信念圖；在訓(xùn)練信念圖增強(qiáng)網(wǎng)絡(luò)時(shí)，根據(jù)訓(xùn)練集中的標(biāo)注信息生成低分辨率信念圖標(biāo)簽和高分辨率信念圖標(biāo)簽，低分辨率信念圖標(biāo)簽對(duì)應(yīng)基礎(chǔ)模型的輸出分辨率，高分辨率信念圖標(biāo)簽對(duì)應(yīng)信念圖增強(qiáng)網(wǎng)絡(luò)的輸出分辨率，訓(xùn)練時(shí)利用MESLoss函數(shù)分別計(jì)算兩種分辨率下預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的均方誤差，求二者的加權(quán)和，并以此推導(dǎo)信念圖增強(qiáng)網(wǎng)絡(luò)各層參數(shù)的梯度，使用Adam優(yōu)化器進(jìn)行監(jiān)督訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法，其特征是訓(xùn)練集具體為：生成信念圖標(biāo)簽時(shí)，對(duì)于一個(gè)人體樣本，首先根據(jù)規(guī)定的關(guān)鍵點(diǎn)數(shù)量K定義一個(gè)具有K個(gè)通道的全黑圖像，即該圖像中每個(gè)像素點(diǎn)的灰度值都是0，然后按照該樣本的標(biāo)注信息，對(duì)于每一個(gè)關(guān)鍵點(diǎn)坐標(biāo)，在上述全黑圖像的對(duì)應(yīng)通道處以該坐標(biāo)點(diǎn)為中心生成一個(gè)高斯二維分布，從而得到一個(gè)具有K個(gè)通道的信念圖，若指定信念圖增強(qiáng)網(wǎng)絡(luò)生成的信念圖分辨率與原始圖像的分辨率不同，則在生成高斯二維分布時(shí)將標(biāo)準(zhǔn)差乘上相應(yīng)的縮放因子r。

3.根據(jù)權(quán)利要求2所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法，其特征是信念圖增強(qiáng)網(wǎng)絡(luò)中，亞像素卷積層的輸出通道數(shù)由參數(shù)k*r²控制。

4.根據(jù)權(quán)利要求1或2或3所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法，其特征是對(duì)信念圖增強(qiáng)網(wǎng)絡(luò)的訓(xùn)練具體為：根據(jù)訓(xùn)練集的不同分辨率的信念圖標(biāo)簽，利用MSELoss函數(shù)分別計(jì)算不同分辨率下的預(yù)測(cè)損失，然后將兩類(lèi)預(yù)測(cè)損失按比例相加作為網(wǎng)絡(luò)最終的損失函數(shù)，通過(guò)最終損失函數(shù)的值計(jì)算模型中各網(wǎng)絡(luò)層的參數(shù)梯度，使用Adam優(yōu)化器對(duì)其進(jìn)行監(jiān)督訓(xùn)練，其中，對(duì)信念圖增強(qiáng)網(wǎng)絡(luò)的訓(xùn)練需要150個(gè)epoch，訓(xùn)練時(shí)的學(xué)習(xí)率初始化為0.001，分別在第60個(gè)epoch和第90個(gè)epoch進(jìn)行一次衰減，學(xué)習(xí)率衰減后變?yōu)樵鹊氖种弧?/p>

5.根據(jù)權(quán)利要求4所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法，其特征是在訓(xùn)練過(guò)程中，還對(duì)訓(xùn)練集進(jìn)行增強(qiáng)操作來(lái)提升模型的泛化能力，所述增強(qiáng)操作包括旋轉(zhuǎn)和縮放，其中，旋轉(zhuǎn)操作繞圖像中心點(diǎn)以[-40^°,+40^°]的隨機(jī)角度進(jìn)行旋轉(zhuǎn)；縮放操作以[1-0.3,1+0.3]的比例進(jìn)行縮放。

6.根據(jù)權(quán)利要求4所述的一種基于信念圖增強(qiáng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)方法，其特征是將兩類(lèi)預(yù)測(cè)損失以1:1的比例相加作為網(wǎng)絡(luò)最終的損失函數(shù)。