[發明專利]一種基于縮略表示的快速人體姿態估計方法

在審

• 申請號: 202211184075.0
• 申請日: 2022-09-27
• 公開（公告）號: CN115601787A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 張永強;丁明理;張子安;張印;田瑞;張漫
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/82;G06V10/72;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 岳昕

1.一種基于縮略表示的快速人體姿態估計方法，其特征在于包括：

獲取待檢測圖像，并得到待檢測圖像的縮略圖的步驟，以及

將待檢測圖像的縮略圖輸入訓練好的人體姿態估計網絡進行人體姿態估計的步驟；

所述人體姿態估計網絡依次包括縮尺度器、主干網絡、上采樣模塊、網絡頭；

在主干網絡中選取一個中間特征圖為監測點，該監測點之前的網絡層為主干網絡的前半部分，該監測點之后的網絡層為主干網絡的后半部分；

所述縮尺度器以及主干網絡的前半部分構成編碼器；

所述主干網絡的后半部分、上采樣模塊以及網絡頭構成熱力圖解碼器；

所述人體姿態估計網絡的訓練過程通過引入教師網絡進行輔助訓練，所述教師網絡依次包括主干網絡和網絡頭，所述教師網絡中包括的主干網絡和網絡頭與人體姿態估計網絡中的主干網絡和網絡頭結構一致；

所述人體姿態估計網絡的訓練過程包括兩個訓練階段：

訓練階段1：

所述縮尺度器利用原始尺寸圖像的風格進行監督訓練，所述編碼器利用來自于教師網絡的中間特征圖進行監督訓練；

訓練階段2：

所述編碼器以及熱力圖解碼器利用來自于教師網絡的關節點熱力圖以及真實的關節點熱力圖進行端到端的監督訓練。

2.根據權利要求1所述的一種基于縮略表示的快速人體姿態估計方法，其特征在于所述訓練階段1具體為：

首先通過監督縮略圖像像素灰度值的分布與原始尺寸圖像像素灰度值的分布之間的差距，得到與原始尺寸圖像像素灰度值的分布一致的縮略圖，所述像素灰度值的分布包括像素灰度值的均值和方差；

引入特征解碼器，所述特征解碼器用于將編碼器中的中間特征圖映射到和教師網絡中的中間特征圖相同維度的空間；

所述教師網絡中的中間特征圖在對應主干網絡中的網絡層級與解碼器中的中間特征圖在對應主干網絡中的網絡層級相同；

通過監督教師網絡中的中間特征圖與解碼器中的中間特征圖之間像素灰度值的均方誤差，得到與教師網絡中的中間特征圖一致的人體姿態估計網絡的中間特征圖，使得所述編碼器所提取的信息與教師網絡中主干網絡前半部分所提取的信息一致。

3.根據權利要求2所述的一種基于縮略表示的快速人體姿態估計方法，其特征在于所述訓練階段2具體為：

通過監督來自于教師網絡的關節點熱力圖與來自人體姿態估計網絡的關節點熱力圖之間像素灰度值的均方誤差以及像素灰度值分布的KL散度，得到與教師網絡的關節點熱力圖一致的人體姿態估計網絡的關節點熱力圖；

通過監督真實的關節點熱力圖與來自人體姿態估計網絡的關節點熱力圖之間像素灰度值的均方誤差，得到準確的人體姿態估計網絡的關節點熱力圖。

4.根據權利要求3所述的一種基于縮略表示的快速人體姿態估計方法，其特征在于所述利用原始尺寸圖像的風格進行監督訓練的損失函數為：

其中，i表示通道序號，φ_s(·)表示降尺度器的運算過程，μ(z_i)和σ²(z_i)分別表示均值和方差運算，λ表示用以平衡均值和方差的超參數，z表示原始尺寸的輸入圖像。

5.根據權利要求4所述的一種基于縮略表示的快速人體姿態估計方法，其特征在于所述利用來自于教師網絡的中間特征圖進行監督訓練的損失函數為：

其中，N表示中間層特征圖的通道數，表示教師網絡從z到F_t的映射函數，F_t表示編碼器中的中間特征圖，表示監測點之前的網絡層為主干網絡的前半部分，φ_d(·)表示特征解碼器，所述特征解碼器的結構為1個反卷積層。