[發(fā)明專利]一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011478197.1
• 申請(qǐng)日: 2020-12-15
• 公開（公告）號(hào): CN112580488A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 王妙輝;許倬維
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 蔣學(xué)超

1.一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，包括：

S1、訓(xùn)練初始化，建立訓(xùn)練模型及指引模型；

S2、獲取具有人體姿態(tài)內(nèi)容的圖像；

S3、將圖像轉(zhuǎn)換為熱圖，所述熱圖包括基準(zhǔn)標(biāo)簽值熱圖訓(xùn)練模型的輸出熱圖heatmap_n和指引模型的輸出熱圖

S4、根據(jù)所述熱圖獲取原生姿態(tài)損失及指引損失；

S5、根據(jù)聯(lián)合補(bǔ)償損失函數(shù)獲取聯(lián)合補(bǔ)償損失；

S6、更新訓(xùn)練模型的權(quán)重以及更新指引模型的權(quán)重；

S7、將當(dāng)前訓(xùn)練模型指定為下一指引模型，將當(dāng)前指引模型指定為下一訓(xùn)練模型；

S8、返回步驟S2。

2.如權(quán)利要求1所述的基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，其特征在于：在步驟S4之中，根據(jù)原生姿態(tài)損失計(jì)算公式獲取原生姿態(tài)損失，所述原生姿態(tài)損失計(jì)算公式為：

根據(jù)指引損失計(jì)算公式獲取指引損失，所述指引損失計(jì)算公式為：

其中，n為關(guān)鍵點(diǎn)集合的序號(hào)，滿足n＝1，2，...，N，其中N為待估計(jì)的人體姿態(tài)關(guān)鍵點(diǎn)總數(shù)，p_n(i，j)表示對(duì)于關(guān)鍵點(diǎn)j_n的訓(xùn)練模型的輸出熱圖heatmap_n在位置(i，j)的置信度值大小，代表對(duì)于關(guān)鍵點(diǎn)j_n的基準(zhǔn)標(biāo)簽值熱圖的置信度分布，即代表在位置為(i，j)的置信度值大小；代表對(duì)于關(guān)鍵點(diǎn)(i，j)的指引模型的輸出熱圖的置信度分布，即代表在位置為(i，j)的置信度值大小；ξ_n表示在中對(duì)關(guān)鍵點(diǎn)j_n損失的權(quán)重分配值，ξ′_n表示在中對(duì)關(guān)鍵點(diǎn)j_n損失的權(quán)重分配值，ε，ε′，ρ，ρ′，σ₁，σ′₁，σ₂，σ′₂為常數(shù)，(i_predict，j_predict)表示模型的輸出關(guān)于關(guān)鍵點(diǎn)j_n的坐標(biāo)位置，且滿足關(guān)鍵點(diǎn)坐標(biāo)標(biāo)識(shí)條件：

p_n(i_predict，j_predict)＝max(p_n)。

3.如權(quán)利要求2所述的基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，其特征在于：在步驟S5之中，所述聯(lián)合補(bǔ)償損失函數(shù)為：

其中，w₁和w₂為常數(shù)。

4.如權(quán)利要求3所述的基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，其特征在于：在步驟S6之中，通過Adam優(yōu)化器進(jìn)行梯度優(yōu)化策略的執(zhí)行，使用聯(lián)合補(bǔ)償損失進(jìn)行梯度反向傳播，更新訓(xùn)練模型的權(quán)重。

5.如權(quán)利要求4所述的基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，其特征在于：在步驟S6之中，通過指引更新函數(shù)對(duì)指引模型的權(quán)重進(jìn)行更新，對(duì)于當(dāng)前迭代輪次ITER，所述指引更新函數(shù)為：

其中，為指引模型在某一迭代輪次iter的網(wǎng)絡(luò)權(quán)重，θ_iter為訓(xùn)練模型在某一迭代輪次iter的網(wǎng)絡(luò)權(quán)重，num是常數(shù)，以表示指引更新中所使用的輪次范圍。

6.一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練裝置，其特征在于：包括圖像識(shí)別模塊、獲取模塊、轉(zhuǎn)換模塊、更新模塊和指定模塊，

所述圖像識(shí)別模塊用于識(shí)別圖像中人體姿態(tài)的各個(gè)關(guān)鍵點(diǎn)，并且使得人體關(guān)鍵點(diǎn)與圖像其他部分進(jìn)行區(qū)別標(biāo)識(shí)；

所述獲取模塊用于獲取具有人體姿態(tài)內(nèi)容的圖像、根據(jù)所述熱圖獲取原生姿態(tài)損失及指引損失以及根據(jù)聯(lián)合補(bǔ)償損失函數(shù)獲取聯(lián)合補(bǔ)償損失；

所述轉(zhuǎn)換模塊用于將圖像轉(zhuǎn)換為熱圖，所述熱圖包括基準(zhǔn)標(biāo)簽值熱圖訓(xùn)練模型的輸出熱圖heatmap_n和指引模型的輸出熱圖

所述更新模塊用于更新訓(xùn)練模型的權(quán)重以及更新指引模型的權(quán)重；

所述指定模塊用于將當(dāng)前訓(xùn)練模型指定為下一指引模型，以及將當(dāng)前指引模型指定為下一訓(xùn)練模型。