[發明專利]一種基于動態信息傳輸的人體姿態估計方法

在審

• 申請號: 202111542453.3
• 申請日: 2021-12-14
• 公開（公告）號: CN114299537A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 史青宣;李一行;單北光;王海劍;宋靜雅
• 申請（專利權）人: 河北大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 石家莊國域專利商標事務所有限公司 13112
• 代理人: 胡素梅

1.一種基于動態信息傳輸的人體姿態估計方法，其特征是，包括如下步驟：

a、訓練多任務學習網絡；

b、采用訓練好的多任務學習網絡對圖像中人體姿態進行估計；

步驟a中訓練多任務學習網絡具體包括如下步驟：

a1、對訓練樣本進行預處理；

a2、通過多任務學習網絡共同學習關節點和人體骨骼的特征，并對特征進行分組；

a3、將分組后的特征送入動態信息遷移模塊，利用骨骼特征來引導優化關節點的定位結果；

a4、比較預測結果與真值，計算損失函數，根據損失函數優化多任務學習網絡中各參數；

步驟b中采用訓練好的多任務學習網絡對圖像中人體姿態進行估計具體包括如下步驟：

b1、對測試樣本進行預處理；

b2、通過訓練好的多任務學習網絡共同學習關節點和人體骨骼的特征，并對特征進行分組；

b3、將分組后的特征送入動態信息遷移模塊，利用骨骼特征來引導優化關節點的定位結果。

2.根據權利要求1所述的基于動態信息傳輸的人體姿態估計方法，其特征是，步驟a2或步驟b2具體如下：

將輸入圖像送入HRNet主干網絡提取特征；

構造兩個分支，分別是關節點預測分支和骨骼預測分支；這兩個分支分別通過兩個解碼模塊提取通道數不同的關節點特征和骨骼特征；

對關節點特征和骨骼特征分別進行分組，使分組后的關節點特征和骨骼特征一一對應；分組后的特征的通道數是骨骼個數的2倍。

3.根據權利要求2所述的基于動態信息傳輸的人體姿態估計方法，其特征是，步驟a3或步驟b3具體如下：

將分組后的骨骼特征送入自適應參數生成器中生成動態參數θ^B，之后動態參數θ^B送入自適應卷積模塊；動態參數θ^B視為從骨骼預測分支傳遞過來的引導信息；

使分組后的關節點特征通過1×1的卷積后，再經自適應卷積模塊得到經過動態信息引導后的信息；

將自適應卷積模塊輸出的結果特征送入通道注意力模塊中，通過通道注意力模塊提取特征后得到殘差信息，再與分組后的關節點特征經1×1卷積后的特征進行融合，融合后的特征送入空間注意力模塊中，最終生成預測的關節點的熱圖。

4.根據權利要求3所述的基于動態信息傳輸的人體姿態估計方法，其特征是，步驟中，分組后的骨骼特征被送入自適應參數生成器中所執行的操作依次是：首先對分組后的骨骼特征進行一次3×3卷積操作，接著進行一次最大池化操作；再進行第二次3×3卷積操作以及第二次最大池化操作；最后進行第三次3×3卷積操作。

5.根據權利要求3所述的基于動態信息傳輸的人體姿態估計方法，其特征是，步驟中，對于通道注意力模塊而言，給定輸入特征f_in，輸出f_out，其公式如下所示：

f_out＝(1+σ(K₁(Avg(K₃(f_in)))))⊙K₃(f_in)

其中，K₁(·)代表1×1的卷積，K₃(·)代表3×3的卷積，Avg(·)代表全局平均池化處理，σ(·)代表sigmoid激活函數，⊙表示像素級別的點乘。

6.根據權利要求3所述的基于動態信息傳輸的人體姿態估計方法，其特征是，步驟中，對于空間注意力模塊而言，給定輸入特征f_in，輸出f_out，其公式如下所示：

f_out＝(1+σ(DW(K₁(K₃(f_in)))))⊙K₃(f_in)

其中，K₁(·)代表1×1的卷積，K₃(·)代表3×3的卷積，DW(·)表示1×1的深度卷積，σ(·)代表sigmoid激活函數，⊙表示像素級別的點乘。