[發明專利]一種基于自底向上的多人姿態估計方法及系統

有效

• 申請號: 202011607930.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112597954B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 駱炎民;萬添俊;林躬耕
• 申請（專利權）人: 華僑大學;福建省公田軟件股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/75;G06V10/82;G06N3/0464;G06N3/08;G06T9/00
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種基于自底向上的多人姿態估計方法，其特征在于：包括：

步驟1、生成關節所屬個體的熱圖標簽；

步驟2、修改深度卷積神經網絡的預測輸出規模；

步驟3、采用訓練后的深度卷積神經網絡對待測圖像計算，得到所有人體的中心位置、關節位置以及關節對應所屬的人體中心編碼，并計算得到多人的完整姿態；

所述步驟1進一步具體為：

步驟11、首先生成一張64×64大小的人體中心點熱圖標簽，定義第i個人的第j個關節為人體中心，令C_j(p)為該人體中心點在熱圖的位置p產生的置信分數，且當距離大于指定閾值時，該位置置信分數設置為0，用C來表示人體中心點地面真值熱圖，同時記錄下第i個人體中心點在熱圖位置p，置信分數不為0的坐標x和y，記為Cⁱp_xy，所述置信分數的計算公式如下：

其中，σ為人為設置的參數；

步驟12、采用所述置信分數的計算公式對所需預測的人體關節生成熱圖標簽，定義J＝{J₁，J₂，......,J_j}_{j＝{1，2，...,k}}為生成的關節熱圖，k為預測的人體關節種類數，得到規模為k×64×64的關節熱圖，同時記錄下第i個人體的第j個關節在熱圖位置p，置信分數不為0的坐標x和y，記為

步驟13、對第j個關節，生成一個規模為2×64×64的關節對應中心編碼標簽，第一個64×64大小的標簽對應的是關節所屬的人體中心在熱圖中x的坐標編碼，第二個64×64大小的標簽對應的是關節所屬的人體中心在熱圖中y的坐標編碼；

步驟14、對步驟13循環k次操作，得到k個規模為2×64×64的關節對應中心編碼標簽；

步驟15、對步驟12和步驟14的標簽按對應關節類別進行整合，每種關節熱圖和該關節的所屬編碼合并到一起，形成一個3×64×64大小，最終所有關節得到一個規模為3*k×64×64的標簽；

所述步驟3進一步包括：

步驟31、讀取單張多人的RGB圖像，重置圖像大小至網絡輸入大小；

步驟32、將調整后的圖片放入訓練后的深度卷積神經網絡中，獲取到兩個輸出，包括人體中心熱圖和人體關節點信息；

步驟33、對獲取到的人體關節信息，找到其中第j種關節的關節熱圖，采用非極大值抑制算法查找每個關節點最大像素值位置，選擇具有最大峰值的像素位置作為關節點位置的中心，假定該關節中心位置在預測關節熱圖上為Gp_xy；

步驟34、對位置Gp_xy直接取后面兩個通道同樣位置的值，包括該關節所屬人體中心在熱圖上x和y的坐標，將取到的x和y值乘上設定的熱圖大小，得到人體中心熱圖的位置，記為Qp_xy；

步驟35、在人體中心熱圖查看位置Qp_xy，如果存在該中心，且落在置信度高于設定值，說明該關節就所屬于這個人體，完成該關節到人體的匹配；

步驟36、循環步驟33到步驟35，直到所有關節都完成對應中心的匹配，形成最終的人體骨架，完成多人姿態估計。

2.根據權利要求1所述的一種基于自底向上的多人姿態估計方法，其特征在于：所述步驟13中的坐標編碼的獲取方式如下：

將步驟12中獲得的第i個人的第j個關節位置在標簽中對應的位置，放入該關節所屬人體中心熱圖位置Cⁱp_xy中的x的值，并對該值進行歸一化，得到x的坐標編碼為x/64；

將步驟12中獲得的第i個人的第j個關節位置在標簽中對應的位置，放入該關節所屬人體中心熱圖位置Cⁱp_xy中的y的值，并對該值進行歸一化，得到y的坐標編碼為y/64。

3.根據權利要求1所述的一種基于自底向上的多人姿態估計方法，其特征在于：所述步驟2進一步包括：

步驟21、將所采用的深度卷積神經網絡的輸出部分調整為兩個分支，一個分支預測人體中心熱圖，另一個分支預測人體關節點信息，人體關節點信息包含關節熱圖和關節所屬中心編碼，根據步驟11的標簽，對第一個分支通過卷積輸出的規模設置為64×64大小；

步驟22、根據步驟15的標簽，對第二個分支通過卷積操作輸出的規模設置為3*k×64×64大小。