[發明專利]一種基于關節依賴的人體骨架提取方法

在審

• 申請號: 201810933257.0
• 申請日: 2018-08-16
• 公開（公告）號: CN109190686A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 李建平;顧小豐;胡健;萇浩陽;王曉明;蔡京京;李偉;張建國
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F17/50
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 陳選中

1.一種基于關節依賴的人體骨架提取方法，其特征在于，包括以下步驟：

S1：對圖片數據集進行預處理和擴增，并劃分為訓練集和測試集；

S2：構建關節依賴的人體骨架提取網絡；

S3：將訓練集輸入關節依賴的人體骨架提取網絡，得到關節依賴的人體骨架提取網絡模型以及關節的預測類標；

S4：根據關節的預測類標，使用反向傳播算法對關節依賴的人體骨架提取網絡模型進行優化，得到最優關節依賴的人體骨架提取網絡模型；

S5：將測試集輸入最優關節依賴的人體骨架提取網絡模型，得到關節的測試類標；

S6：根據關節的測試類標，提取出人體骨架。

2.根據權利要求1所述的基于關節依賴的人體骨架提取方法，其特征在于，所述步驟S1中，進行預處理，包括如下步驟：

S1-1：生成變換矩陣；

S1-2：將圖片數據集中原始圖像上的像素點坐標乘以變換矩陣，得到變換后坐標位置；

S1-3：將坐標位置位于縮放圖像范圍中的像素點復制到變換矩陣中，并舍去范圍外的像素點，實現圖像的預處理。

3.根據權利要求1所述的基于關節依賴的人體骨架提取方法，其特征在于，所述步驟S2中，關節依賴的人體骨架提取網絡模型，包括前端的特征提取部分和后端的關節依賴建模部分；所述特征提取部分依次由卷積、殘差模塊、最大池化以及兩個殘差模塊構成。

4.根據權利要求1所述的基于關節依賴的人體骨架提取方法，其特征在于，所述關節依賴建模的方法，包括如下步驟：

A-1：使用單關節回歸網絡建立關節依賴關系模型；

A-2：根據關節依賴關系模型，使用單關節回歸網絡從頭部關節依次回歸所有類型關節；

A-3：根據所有類型關節，構建人體樹模型，實現關節依賴建模。

5.根據權利要求4所述的基于關節依賴的人體骨架提取方法，其特征在于，所述單關節回歸網絡依次由沙漏模塊、殘差模塊和卷積構成。

6.根據權利要求4所述的基于關節依賴的人體骨架提取方法，其特征在于，所述關節依賴關系模型的公式為：

人體骨架提取形式化描述公式為：

式中，為網絡回歸出來的關節點的類標E為低層特征提取網絡；α為單回歸網絡參數；F為回歸網絡；β為回歸網絡的參數；

頭部關節建模公式為：

式中，為輸出的頭部關節的特征；為頭部關節的預測類標；H₁為單回歸網絡函數；E(X_i,α)為輸入的圖片X_i的特征；α為單回歸網絡參數；β₁為當前單回歸網絡參數集合；j₁為頭部關節；J為關節集合；

其它關節之間依賴關系建模公式為：

式中，為下一個網絡輸出的關節的特征；為上一個關節的預測類標；為上一個網絡輸出的關節的特征；β_t為上一個網絡單回歸網絡參數集合；S(j_t)為在S中找出以關節j_t結尾的有序關節集合；j_t為上一個關節；J為關節集合。

7.根據權利要求1所述的基于關節依賴的人體骨架提取方法，其特征在于，所述步驟S4中，使用反向傳播算法對關節依賴的人體骨架提取網絡模型進行優化，包括如下步驟：

S4-1：計算關節的真實坐標的熱力圖；

S4-2：根據關節的預測類標和真實的熱力圖，擬合真實的類標，回歸人體的關節點。

8.根據權利要求7所述的基于關節依賴的人體骨架提取方法，其特征在于，所述步驟S4-1中，關節的真實坐標的熱力圖的計算公式為：

式中，g(y_jk,i,j)為(i,j)空間位置的關節的真實坐標的熱力圖；為圖像中關節k的真實坐標。

9.根據權利要求7所述的基于關節依賴的人體骨架提取方法，其特征在于，所述步驟S4-2中，關節依賴的人體骨架提取網絡模型的損失的計算公式為：

式中，L為關節依賴的人體骨架提取網絡模型的損失函數；為關節k的預測類標；(X,Y)為訓練樣本；D為數據集；j_k為當前關節指示量；K為關節總數；J為關節集合。