[發明專利]一種基于雙向序列化建模的人體姿態估計方法

在審

• 申請號: 202011610311.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112633220A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉振廣;封潤洋;陳豪明;王勛;錢鵬
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 王琛

1.一種基于雙向序列化建模的人體姿態估計方法，包括如下步驟：

(1)收集用于人體姿態估計的視頻數據集并對其進行預處理；

(2)對于視頻數據集中一段完整的視頻，以連續3幀視頻圖像作為一組樣本，并對視頻圖像中人體各關鍵部位坐標進行人工標記；

(3)構建雙向連續性卷積神經網絡，利用大量樣本對該卷積神經網絡進行訓練，得到人體姿態估計模型；

(4)將連續3幀待估計的視頻圖像輸入至所述人體姿態估計模型中，輸出得到其中第2幀視頻圖像中人物的姿態估計結果即人體各關鍵部位坐標。

2.根據權利要求1所述的人體姿態估計方法，其特征在于：所述步驟(1)中對于視頻數據集中的每一幀視頻圖像，通過YOLOv5算法檢測圖像中的人體ROI位置坐標，并將該ROI放大25％。

3.根據權利要求1所述的人體姿態估計方法，其特征在于：所述雙向連續性卷積神經網絡由Backbone網絡、姿態時間合并網絡、姿態殘差融合網絡以及姿態矯正網絡組成，其中Backbone網絡用于初步計算輸入樣本的三幀視頻圖像中人體的姿態特征向量h_i-1、h_i、h_i+1，三個特征向量疊加后得到向量Φ(h)分別輸入至姿態時間合并網絡和姿態殘差融合網絡，姿態時間合并網絡用于編碼人體每個關節的大致空間范圍得到特征向量ξ(h)，姿態殘差融合網絡用于計算人體的姿態殘差向量ψ(h)，進而將ξ(h)及其疊加ψ(h)后的特征向量η輸入到姿態矯正網絡中計算得到人體姿態預測結果。

4.根據權利要求3所述的人體姿態估計方法，其特征在于：所述姿態時間合并網絡由三個殘差塊堆疊組成，向量Φ(h)按關節順序重組后作為該網絡的輸入，輸出特征向量ξ(h)；所述姿態殘差融合網絡由五個殘差塊堆疊組成，其首先將樣本中第二幀與第一幀的姿態特征向量以及第二幀與第三幀的姿態特征向量分別做差，同時通過帶有權重的級聯得到張量ζ作為該網絡的輸入，輸出姿態殘差向量ψ(h)，張量ζ的具體表達式如下：

5.根據權利要求4所述的人體姿態估計方法，其特征在于：所述殘差塊由一個3×3大小的卷積層、批量歸一化層以及Relu激活層依次連接組成，姿態時間合并網絡中的殘差塊采用分組卷積，分組數groups＝17；姿態殘差融合網絡中的殘差塊未使用分組卷積，分組數groups＝1。

6.根據權利要求3所述的人體姿態估計方法，其特征在于：所述姿態矯正網絡由五個平行的可形變卷積組成，五個可形變卷積的擴張率分別為3、6、9、12、15，每個可形變卷積以特征向量ξ(h)與η堆疊后的結果作為輸入，輸出預測的高斯熱圖，對五個卷積分別輸出的五張高斯熱圖取平均即得到人體姿態預測結果。

7.根據權利要求3所述的人體姿態估計方法，其特征在于：所述步驟(3)中對雙向連續性卷積神經網絡進行訓練的過程分為兩步：首先訓練Backbone網絡，然后固定Backbone網絡參數，訓練姿態時間合并網絡、姿態殘差融合網絡以及姿態矯正網絡。

8.根據權利要求7所述的人體姿態估計方法，其特征在于：訓練Backbone網絡的具體過程為：逐一將樣本所有視頻圖像中的人體ROI輸入Backbone網絡，計算整個雙向連續性卷積神經網絡輸出的人體姿態預測結果與樣本對應的人工標記信息之間的損失函數L1，根據損失函數L1通過反向傳播反復更新Backbone網絡參數，直至損失函數L1收斂，所述損失函數L1的表達式如下：

其中：N為標注的人體關鍵部位數量，H_{gt_i}為一組樣本中所有人體ROI第i個關鍵部位人工標記的坐標經轉換生成高斯熱圖疊加后的結果，H_{pred_i}為一組樣本中所有人體ROI第i個關鍵部位通過雙向連續性卷積神經網絡預測輸出的坐標經轉換生成高斯熱圖疊加后的結果，|| ||₂表示L2范數，v_i表示第i個關鍵部位在樣本圖像中是否有標簽，若有則其取值為1，否則其取值為0。