[發明專利]一種基于解耦階梯網絡的姿態估計方法

有效

• 申請號: 202011307337.9
• 申請日: 2020-11-20
• 公開（公告）號: CN112418070B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 駱炎民;歐志龍;林躬耕
• 申請（專利權）人: 華僑大學;福建省公田軟件股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06T5/30;G06T7/62
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種基于解耦階梯網絡的姿態估計方法，其特征在于：包括如下步驟：

步驟S10、基于解耦殘差模塊和瀑布模塊搭建解耦階梯網絡；

步驟S20、獲取大量的人體樣本圖像，利用所述人體樣本圖像對解耦階梯網絡進行訓練；

步驟S30、將待測圖像輸入訓練好的所述解耦階梯網絡，計算所述待測圖像中各關節點的位置，進而基于各關節點的位置形成完整的人體姿態；

所述步驟S10中，所述解耦階梯網絡包括：

一大小為3×3的第一卷積核、一第一解耦殘差組、一第二解耦殘差組、一第三解耦殘差組、一第四解耦殘差組、一第一瀑布組、一第二瀑布組、一第三瀑布組以及一第四瀑布組；

所述第一解耦殘差組包括橫向并行排列并連接的二十個解耦殘差模塊，依次用A_1,1、A_1,2、……、A_1,20表示；所述第二解耦殘差組包括橫向并行排列并連接的十六個解耦殘差模塊，依次用A_2,1、A_2,2、……、A_2,16表示；所述第三解耦殘差組包括橫向并行排列并連接的十一個解耦殘差模塊，依次用A_3,1、A_3,2、……、A_3,11表示；所述第四解耦殘差組包括橫向并行排列并連接的六個解耦殘差模塊，依次用A_4,1、A_4,2、……、A_4,6表示；

所述第一瀑布組包括橫向并行排列的十九個瀑布模塊；所述第二瀑布組包括橫向并行排列的十五個瀑布模塊；所述第三瀑布組包括橫向并行排列的十個瀑布模塊；所述第四瀑布組包括橫向并行排列的五個瀑布模塊；

所述第一卷積核的輸出端與第一解耦殘差組的輸入端連接，用于提取圖像特征并改變圖像的通道數；所述第一解耦殘差組、第二解耦殘差組、第三解耦殘差組以及第四解耦殘差組依次至上而下排列，且靠右對齊；所述第一瀑布組設于第一解耦殘差組的解耦殘差模塊之間；所述第二瀑布組設于第二解耦殘差組的解耦殘差模塊之間；所述第三瀑布組設于第三解耦殘差組的解耦殘差模塊之間；所述第四瀑布組設于第四解耦殘差組的解耦殘差模塊之間；

各所述瀑布模塊均與位于正前方和正后方的解耦殘差模塊連接，用于為解耦殘差模塊補償感受野；

所述解耦殘差模塊A_1,4、解耦殘差模塊A_2,5、解耦殘差模塊A_3,5分別進行一次2倍下采樣操作，將特征圖的分辨率降低至與所述解耦殘差模塊A_2,1、解耦殘差模塊A_3,1、解耦殘差模塊A_4,1一致，并進行元素求和；

所述解耦殘差模塊A_1,9進行一次2倍下采樣操作后，與解耦殘差模塊A_2,6進行元素求和；所述解耦殘差模塊A_1,9進行一次4倍下采樣操作后，與解耦殘差模塊A_3,1進行元素求和；

所述解耦殘差模塊A_2,5進行1次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_1,10一致，并進行元素求和；

所述解耦殘差模塊A_2,10進行1次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_1,15一致，并進行元素求和；所述解耦殘差模塊A_2,10進行一次2倍下采樣操作后，將特征圖的分辨率降低至與解耦殘差模塊A_3,6一致，并進行元素求和；所述解耦殘差模塊A_2,10進行一次4倍下采樣操作后，將特征圖的分辨率降低至與解耦殘差模塊A_4,1一致，并進行元素求和；

所述解耦殘差模塊A_2,15進行1次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_1,20一致，并進行元素求和；所述解耦殘差模塊A_2,15進行一次2倍下采樣操作后，將特征圖的分辨率降低至與解耦殘差模塊A_3,11一致，并進行元素求和；所述解耦殘差模塊A_2,15進行一次4倍下采樣操作后，將特征圖的分辨率降低至與解耦殘差模塊A_4,6一致，并進行元素求和；

所述解耦殘差模塊A_3,5進行2次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_1,15一致，并進行元素求和；所述解耦殘差模塊A_3,5進行1次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_2,11一致，并進行元素求和；

所述解耦殘差模塊A_3,10進行2次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_1,20一致，并進行元素求和；所述解耦殘差模塊A_3,10進行1次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_2,16一致，并進行元素求和；所述解耦殘差模塊A_3,10進行一次2倍下采樣操作后，將特征圖的分辨率降低至與解耦殘差模塊A_4,6一致，并進行元素求和；

所述解耦殘差模塊A_4,5進行3次雙線性插值后，將特征圖的分辨率提升至與解耦殘差模塊A_1,20、A_2,16、A_3,11一致，并分別進行元素求和；

所述步驟S10中，所述解耦殘差模塊包括：

一大小為1×1的第二卷積核、一大小為3×1的第三卷積核、一大小為1×3的第四卷積核、一大小為1×1的第五卷積核；

所述第二卷積核、第三卷積核、第四卷積核以及第五卷積核依次連接；所述第二卷積核用于提取圖像特征并改變圖像的通道數為64；所述第五卷積核用于提取圖像特征并改變圖像的通道數為256；輸入所述第二卷積核的特征圖使用恒等映射到第五卷積核進行元素相加；

所述步驟S10中，所述瀑布模塊包括：

一大小為3×3的第六卷積核、一大小為3×3的第七卷積核、一大小為3×3的第八卷積核、一大小為3×3的第九卷積核；

所述第六卷積核將特征圖F進行卷積操作生成特征圖F1；所述第七卷積核將特征圖F和特征圖F1進行元素相加后進行卷積操作生成特征圖F2；所述第八卷積核將特征圖F和特征圖F2進行元素相加后進行卷積操作生成特征圖F3；所述第九卷積核將特征圖F和特征圖F3進行元素相加后進行卷積操作生成特征圖F4；

所述步驟S20具體包括：

步驟S21、獲取大量的人體樣本圖像，將所述人體樣本圖像調整為大小為256×256的RGB圖像后，輸入搭建好的所述解耦階梯網絡；

步驟S22、通過所述解耦階梯網絡獲取RGB圖像中關節點的位置熱圖；

步驟S23、利用非極大值抑制算法查找所述位置熱圖中，各關節點的最大像素值位置；

步驟S24、以所述最大像素值位置為關節點位置的中心點，膨脹所述中心點生成半徑為R個像素的圓，得到預測的關節點位置；

步驟S25、利用均方誤差損失函數以及關節點位置計算得到各關節點的損失值：

其中M表示損失值，用來訓練解耦階梯網絡；i表示人體的編號，j表示關節點的編號，且i和j均為正整數；P_i(p_j)表示第i個人，第j個關節點的預測值；為預測的關節點的熱圖，尺度為λ×64×64，λ表示關節點的個數；G_i(p_j)表示第i個人，第j個關節點的真值；G＝{g₁,K,g_λ}，為高斯激活生成的各人體部位對應的真值熱圖；

所述步驟S30具體包括：

步驟S31、獲取待測圖像，將所述待測圖像調整為大小為256×256的RGB圖像后，輸入訓練好的所述解耦階梯網絡中；

步驟S32、通過所述解耦階梯網絡獲取RGB圖像中關節點的位置熱圖；

步驟S33、利用非極大值抑制算法查找所述位置熱圖中，各關節點的最大像素值位置；

步驟S34、以所述最大像素值位置為關節點位置的中心點，膨脹所述中心點生成半徑為R個像素的圓，得到預測的關節點位置；

步驟S35、基于預先標定各關節點的序號以及預測的關節點位置，依次連接各關節點形成完整的人體姿態。