[發明專利]基于熱力圖和偏移向量的姿態識別方法、系統及存儲介質

有效

• 申請號: 202010006031.3
• 申請日: 2020-01-03
• 公開（公告）號: CN111191622B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 肖菁;李海超;屈光卓
• 申請（專利權）人: 華南師范大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/46;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 何文聰

1.基于熱力圖和偏移向量的姿態識別方法，其特征在于，包括：

獲取待識別目標圖像；

對所述待識別目標圖像進行特征提取；

根據提取的特征，預測關鍵點位置；

對預測得到的關鍵點進行修正，確定關鍵點的最終位置；以及

根據所述關鍵點，確定待識別目標的姿態信息；

所述方法還包括評價姿態識別方法有效性的步驟，該步驟包括：

采用AP、PCK性能評價指標進行性能評價，其中，AP在COCO和CROWPOSE數據集中被作為評價指標，而PCK在MPII數據集中被作為評價的指標；

通過對象關鍵點相似度OKS來計算預測的關鍵點和標注的關鍵點之間的相似度，所述相似度的計算公式為：

其中D_i表示預測的關鍵點和標注的關鍵點之間的歐式距離，s為對象的尺度，k_i是一個控制衰減的按鍵控制常數，v_i表示關鍵點是否可見，δ(v_i0)表示可見關鍵點的和；

在給定OKS的閾值s之后，測試集上的平均精度AP@s則由下面的公式計算得到:

PCK指標表示所有預測的關鍵點落入到對應標注的關鍵點周圍一定標準化距離的比例；這個標準化距離與圖片中人體軀干的最長距離有關，記為PCK@σ，其中σ是區間[0,1]之間的一個小數，用σ乘以軀干最長距離得到評價指標中的標準化距離，具體計算方法如下:

其中N表示樣本總數，k代表第k個人體關鍵點，代表預測關鍵點，代表真實關鍵點，代表預測軀干直徑，代表真實軀干直徑，整體的PCK為:

對于MPII數據集上使用的評價指標是PCKh，PCKh和PCK不同的是，

PCKh將標準化距離時用到的軀干最長距離替換為頭部最長距離。

2.根據權利要求1所述的基于熱力圖和偏移向量的姿態識別方法，其特征在于，所述對所述待識別目標圖像進行特征提取這一步驟，包括：

對獲取的待識別目標圖像進行裁剪；

將裁剪得到的各個圖像輸入殘差網絡；以及

通過所述殘差網絡進行編碼處理，得到第一特征圖。

3.根據權利要求2所述的基于熱力圖和偏移向量的姿態識別方法，其特征在于，所述殘差網絡包括五組卷積層；

另外，所述通過所述殘差網絡進行編碼處理，得到特征圖這一步驟，包括以下步驟：

通過卷積核對特征圖的各個通道進行變維處理，所述變維處理包括升維和降維；

對所述每個通道進行歸一化處理；以及

對歸一化處理后的結果進行非線性激活處理。

4.根據權利要求2所述的基于熱力圖和偏移向量的姿態識別方法，其特征在于，所述對所述待識別目標圖像進行特征提取這一步驟，還包括解碼步驟，所述解碼步驟包括：

將獲得的第一特征圖輸入反卷積結構；

通過反卷積結構對第一特征圖進行解碼；以及

獲取各個通道的特征響應圖。

5.根據權利要求4所述的基于熱力圖和偏移向量的姿態識別方法，其特征在于，所述根據提取的特征，預測關鍵點位置，包括：

從所述各個通道的輸出結果中獲取熱力圖；

計算每張熱力圖的最大值，得到每個關鍵點在熱力圖上的位置信息；以及

根據所述待識別目標圖像與所述熱力圖之間的尺寸關系，將關鍵點的位置信息映射到所述待識別目標圖像上。

6.根據權利要求4所述的基于熱力圖和偏移向量的姿態識別方法，其特征在于，所述對預測得到的關鍵點進行修正，確定關鍵點的最終位置這一步驟，包括以下步驟：

根據所述各個通道的輸出結果確定關鍵點的偏移向量；以及

根據所述偏移向量，在所述熱力圖的最大值上加上所述偏移向量，確定關鍵點的最終位置。

7.根據權利要求6所述的基于熱力圖和偏移向量的姿態識別方法，其特征在于，還包括以下步驟：

采用均方誤差損失函數來訓練熱力圖；以及

在訓練偏移向量時，采用了平滑的損失函數來處理真實的偏移和預測的偏移之間的差距。