[發(fā)明專利]一種基于關(guān)節(jié)依賴的人體骨架提取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810933257.0
• 申請(qǐng)日: 2018-08-16
• 公開（公告）號(hào): CN109190686A
• 公開（公告）日: 2019-01-11
• 發(fā)明（設(shè)計(jì)）人: 李建平;顧小豐;胡健;萇浩陽(yáng);王曉明;蔡京京;李偉;張建國(guó)
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06F17/50
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 陳選中

1.一種基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，包括以下步驟：

S1：對(duì)圖片數(shù)據(jù)集進(jìn)行預(yù)處理和擴(kuò)增，并劃分為訓(xùn)練集和測(cè)試集；

S2：構(gòu)建關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)；

S3：將訓(xùn)練集輸入關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)，得到關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型以及關(guān)節(jié)的預(yù)測(cè)類標(biāo)；

S4：根據(jù)關(guān)節(jié)的預(yù)測(cè)類標(biāo)，使用反向傳播算法對(duì)關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，得到最優(yōu)關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型；

S5：將測(cè)試集輸入最優(yōu)關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型，得到關(guān)節(jié)的測(cè)試類標(biāo)；

S6：根據(jù)關(guān)節(jié)的測(cè)試類標(biāo)，提取出人體骨架。

2.根據(jù)權(quán)利要求1所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述步驟S1中，進(jìn)行預(yù)處理，包括如下步驟：

S1-1：生成變換矩陣；

S1-2：將圖片數(shù)據(jù)集中原始圖像上的像素點(diǎn)坐標(biāo)乘以變換矩陣，得到變換后坐標(biāo)位置；

S1-3：將坐標(biāo)位置位于縮放圖像范圍中的像素點(diǎn)復(fù)制到變換矩陣中，并舍去范圍外的像素點(diǎn)，實(shí)現(xiàn)圖像的預(yù)處理。

3.根據(jù)權(quán)利要求1所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述步驟S2中，關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型，包括前端的特征提取部分和后端的關(guān)節(jié)依賴建模部分；所述特征提取部分依次由卷積、殘差模塊、最大池化以及兩個(gè)殘差模塊構(gòu)成。

4.根據(jù)權(quán)利要求1所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述關(guān)節(jié)依賴建模的方法，包括如下步驟：

A-1：使用單關(guān)節(jié)回歸網(wǎng)絡(luò)建立關(guān)節(jié)依賴關(guān)系模型；

A-2：根據(jù)關(guān)節(jié)依賴關(guān)系模型，使用單關(guān)節(jié)回歸網(wǎng)絡(luò)從頭部關(guān)節(jié)依次回歸所有類型關(guān)節(jié)；

A-3：根據(jù)所有類型關(guān)節(jié)，構(gòu)建人體樹模型，實(shí)現(xiàn)關(guān)節(jié)依賴建模。

5.根據(jù)權(quán)利要求4所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述單關(guān)節(jié)回歸網(wǎng)絡(luò)依次由沙漏模塊、殘差模塊和卷積構(gòu)成。

6.根據(jù)權(quán)利要求4所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述關(guān)節(jié)依賴關(guān)系模型的公式為：

人體骨架提取形式化描述公式為：

式中，為網(wǎng)絡(luò)回歸出來的關(guān)節(jié)點(diǎn)的類標(biāo)E為低層特征提取網(wǎng)絡(luò)；α為單回歸網(wǎng)絡(luò)參數(shù)；F為回歸網(wǎng)絡(luò)；β為回歸網(wǎng)絡(luò)的參數(shù)；

頭部關(guān)節(jié)建模公式為：

式中，為輸出的頭部關(guān)節(jié)的特征；為頭部關(guān)節(jié)的預(yù)測(cè)類標(biāo)；H₁為單回歸網(wǎng)絡(luò)函數(shù)；E(X_i,α)為輸入的圖片X_i的特征；α為單回歸網(wǎng)絡(luò)參數(shù)；β₁為當(dāng)前單回歸網(wǎng)絡(luò)參數(shù)集合；j₁為頭部關(guān)節(jié)；J為關(guān)節(jié)集合；

其它關(guān)節(jié)之間依賴關(guān)系建模公式為：

式中，為下一個(gè)網(wǎng)絡(luò)輸出的關(guān)節(jié)的特征；為上一個(gè)關(guān)節(jié)的預(yù)測(cè)類標(biāo)；為上一個(gè)網(wǎng)絡(luò)輸出的關(guān)節(jié)的特征；β_t為上一個(gè)網(wǎng)絡(luò)單回歸網(wǎng)絡(luò)參數(shù)集合；S(j_t)為在S中找出以關(guān)節(jié)j_t結(jié)尾的有序關(guān)節(jié)集合；j_t為上一個(gè)關(guān)節(jié)；J為關(guān)節(jié)集合。

7.根據(jù)權(quán)利要求1所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述步驟S4中，使用反向傳播算法對(duì)關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，包括如下步驟：

S4-1：計(jì)算關(guān)節(jié)的真實(shí)坐標(biāo)的熱力圖；

S4-2：根據(jù)關(guān)節(jié)的預(yù)測(cè)類標(biāo)和真實(shí)的熱力圖，擬合真實(shí)的類標(biāo)，回歸人體的關(guān)節(jié)點(diǎn)。

8.根據(jù)權(quán)利要求7所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述步驟S4-1中，關(guān)節(jié)的真實(shí)坐標(biāo)的熱力圖的計(jì)算公式為：

式中，g(y_jk,i,j)為(i,j)空間位置的關(guān)節(jié)的真實(shí)坐標(biāo)的熱力圖；為圖像中關(guān)節(jié)k的真實(shí)坐標(biāo)。

9.根據(jù)權(quán)利要求7所述的基于關(guān)節(jié)依賴的人體骨架提取方法，其特征在于，所述步驟S4-2中，關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型的損失的計(jì)算公式為：

式中，L為關(guān)節(jié)依賴的人體骨架提取網(wǎng)絡(luò)模型的損失函數(shù)；為關(guān)節(jié)k的預(yù)測(cè)類標(biāo)；(X,Y)為訓(xùn)練樣本；D為數(shù)據(jù)集；j_k為當(dāng)前關(guān)節(jié)指示量；K為關(guān)節(jié)總數(shù)；J為關(guān)節(jié)集合。