[發(fā)明專利]姿態(tài)估計(jì)及網(wǎng)絡(luò)訓(xùn)練方法、裝置和系統(tǒng)及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811592835.5
• 申請(qǐng)日: 2018-12-25
• 公開（公告）號(hào): CN109711462B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 李文博;王志成;俞剛
• 申請(qǐng)（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00
• 代理公司: 北京睿邦知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

1.一種姿態(tài)估計(jì)網(wǎng)絡(luò)的訓(xùn)練方法，包括：

獲取N₁個(gè)樣本圖像和標(biāo)注數(shù)據(jù)，其中，所述標(biāo)注數(shù)據(jù)包括與所述N₁個(gè)樣本圖像分別對(duì)應(yīng)的關(guān)節(jié)點(diǎn)位置數(shù)據(jù)，N₁≥1；

利用所述N₁個(gè)樣本圖像和所述標(biāo)注數(shù)據(jù)對(duì)姿態(tài)估計(jì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中，所述姿態(tài)估計(jì)網(wǎng)絡(luò)包括M個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)，所述M個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)中的每一個(gè)包括下采樣模塊和上采樣模塊，并且第i個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的下采樣模塊的輸入數(shù)據(jù)基于第i-1個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的上采樣模塊輸出的N_i個(gè)樣本圖像的特征圖獲得，其中，i＝2,3,……,M，并且其中，M≥2，N_i≤N₁；

其中，所述M個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)中的至少一個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)還包括熱力圖模塊，所述利用所述N₁個(gè)樣本圖像和所述標(biāo)注數(shù)據(jù)對(duì)姿態(tài)估計(jì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練包括：在訓(xùn)練過程的每次迭代中，執(zhí)行第一操作；

其中，所述第一操作包括：

根據(jù)第j個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的熱力圖模塊輸出的N_j個(gè)樣本圖像的關(guān)節(jié)點(diǎn)熱力圖以及所述N_j個(gè)樣本圖像的關(guān)節(jié)點(diǎn)位置數(shù)據(jù)，計(jì)算所述N_j個(gè)樣本圖像中的每一個(gè)的關(guān)節(jié)點(diǎn)檢測(cè)評(píng)分，其中，1≤j≤M-1；

忽略所述第j個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的上采樣模塊輸出的特征圖中除預(yù)定特征圖以外的特征圖，基于所述預(yù)定特征圖，獲得第j+1個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的下采樣模塊的輸入數(shù)據(jù)，其中，所述預(yù)定特征圖為與關(guān)節(jié)點(diǎn)檢測(cè)評(píng)分最低的N_j+1個(gè)樣本圖像相對(duì)應(yīng)的特征圖，1≤N_j+1＜N_j；

其中，所述根據(jù)第j個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的熱力圖模塊輸出的N_j個(gè)樣本圖像的關(guān)節(jié)點(diǎn)熱力圖以及所述N_j個(gè)樣本圖像的關(guān)節(jié)點(diǎn)位置數(shù)據(jù)，計(jì)算所述N_j個(gè)樣本圖像中的每一個(gè)的關(guān)節(jié)點(diǎn)檢測(cè)評(píng)分包括：

對(duì)于所述N_j個(gè)樣本圖像中的每一個(gè)，根據(jù)所述第j個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)的熱力圖模塊輸出的分辨率最大的一組關(guān)節(jié)點(diǎn)熱力圖中的、該樣本圖像的關(guān)節(jié)點(diǎn)熱力圖以及該樣本圖像的關(guān)節(jié)點(diǎn)位置數(shù)據(jù)，計(jì)算該樣本圖像的關(guān)節(jié)點(diǎn)檢測(cè)評(píng)分。

2.如權(quán)利要求1所述的方法，其中，對(duì)于所述M個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)中的每一個(gè)，該U型網(wǎng)絡(luò)結(jié)構(gòu)的下采樣模塊包括Q個(gè)卷積子模塊，上采樣模塊包括Q-1個(gè)上采樣子模塊，該U型網(wǎng)絡(luò)結(jié)構(gòu)還包括與所述Q個(gè)卷積子模塊一一對(duì)應(yīng)的Q個(gè)連接支路，下采樣模塊的第q個(gè)卷積子模塊用于輸出第q組下采樣特征圖，第q個(gè)連接支路用于接收第q組下采樣特征圖并輸出第q組支路特征圖，上采樣模塊的第q個(gè)上采樣子模塊用于接收第q+1組上采樣特征圖并輸出第q組上采樣特征圖，其中，

在1≤q＜Q的情況下，該U型網(wǎng)絡(luò)結(jié)構(gòu)的上采樣模塊中的第q個(gè)上采樣子模塊用于對(duì)第q+1組上采樣特征圖進(jìn)行上采樣，將上采樣獲得的特征圖直接或經(jīng)過卷積之后與第q組支路特征圖進(jìn)行結(jié)合，以獲得第q組上采樣特征圖；在q＝1的情況下，將第q組上采樣特征圖輸出至下一個(gè)U型網(wǎng)絡(luò)結(jié)構(gòu)；在1＜q＜Q的情況下，將第q組上采樣特征圖輸出至上采樣模塊中的第q-1個(gè)上采樣子模塊；

在q＝Q的情況下，該U型網(wǎng)絡(luò)結(jié)構(gòu)的第q個(gè)連接支路輸出的特征圖為第q組上采樣特征圖；

其中，1≤q≤Q，Q≥2。