[發明專利]一種多視圖中基于高質量熱圖的3D人體姿態估計方法

在審

• 申請號: 202210108698.3
• 申請日: 2022-01-28
• 公開（公告）號: CN114613001A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 周卉芬;洪朝群;范一慶;郭澤添;莊艷輝
• 申請（專利權）人: 廈門理工學院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/64;G06V10/82;G06N3/04;G06T7/66
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 連耀忠

1.一種多視圖中基于高質量熱圖的3D人體姿態估計方法，其特征在于，包括以下步驟：

步驟1：從不同攝像頭中獲取同一時刻的人體視圖，輸入到HRNet進行2D人體姿態估計，得到各個人體視圖相對應的2D人體姿態熱圖；

步驟2：根據步驟1得到的各個人體視圖相對應的2D人體姿態估計熱圖，獲取目標人物關節點數最多的2D人體姿態估計熱圖，并分配權重，計算得到2D人體估計高質量熱圖；

步驟3：將步驟2得到的2D人體估計高質量熱圖投影到3D空間中構造成3D特征卷，并進行多視圖特征的融合，得到各個視圖中的目標人物出現位置的3D概率熱圖；

步驟4：將步驟3得到的各個視圖中的目標人物出現位置的3D概率熱圖構造以其為中心的單獨的細粒度特征卷，得到不同視圖中同一個目標人物的三維邊界框；

步驟5：將步驟4中的不同視圖中同一個目標人物的三維邊界框，輸入到人體姿態回歸網絡，得到的圖像即為基于高質量熱圖的3D人體姿態估計的結果。

2.根據權利要求1所述的多視圖中基于高質量熱圖的3D人體姿態估計方法，其特征在于，步驟1中的從不同攝像頭中獲取同一時刻的人體視圖，輸入到HRNet進行2D人體姿態估計，具體為：

通過采用一個跨HRNet并行子網的交換單元在不同的子網間交互，最終得到高分辨率圖像，其中，交換單元的核心公式為：

式中：交換單元的輸入映射為q個響應映射交換單元的輸出映射也為q個響應映射k為關節點。

3.根據權利要求1所述的多視圖中基于高質量熱圖的3D人體姿態估計方法，其特征在于，將步驟2得到的2D人體估計高質量熱圖投影到3D空間中構造成3D特征卷，并進行多視圖特征的融合，得到各個視圖中的目標人物出現位置的3D概率熱圖，具體為：

式中：λ是權重，V視圖的個數，x，y，z為3D空間的橫軸，縱軸，豎軸，F^x,y,z是所有視圖下錨點出現可能性的特征向量，所有錨點的出現可能性形成目標人物出現位置的3D概率熱圖，是每個錨點位置在視圖i中的投影位置處的熱圖值，是具有最多關節點的視圖的2D人體姿態估計熱圖的估計值。

4.根據權利要求3所述的多視圖中基于高質量熱圖的3D人體姿態估計方法，其特征在于，得到各個視圖中的目標人物出現位置的3D概率熱圖，還包括：

式中：S^x,y,z表示目標人物出現在該位置的可能性，表示目標人物的Ground-Truth熱圖值；X，Y和Z設定的3D空間的橫軸范圍，縱軸范圍，豎軸范圍，分別為80,80和20，L_PN為估計出的目標人物的位置和真實目標人物的位置的誤差分數。

5.根據權利要求4所述的多視圖中基于高質量熱圖的3D人體姿態估計方法，其特征在于，不同視圖中同一個目標人物的三維邊界框，輸入到人體姿態回歸網絡，得到的圖像即為基于高質量熱圖的3D人體姿態估計的結果，具體為：

式中：J_k為基于高質量熱圖的3D人體姿態估計的結果值，H_k(w,h,z)是每個關節點k的3D熱圖，W’、H’、Z’是細粒度特征卷被離散的網格劃分的范圍值，其中，W’＝H’＝Z’＝64。