[發明專利]一種基于關節依賴的人體骨架提取方法

在審

• 申請號: 201810933257.0
• 申請日: 2018-08-16
• 公開（公告）號: CN109190686A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 李建平;顧小豐;胡健;萇浩陽;王曉明;蔡京京;李偉;張建國
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F17/50
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 陳選中

本發明公開了一種基于關節依賴的人體骨架提取方法，包括以下步驟：S1、對圖片數據集進行預處理和擴增，并劃分為訓練集和測試集；S2、構建關節依賴的人體骨架提取網絡；S3、將訓練集輸入關節依賴的人體骨架提取網絡，得到關節依賴的人體骨架提取網絡模型以及關節的預測類標；S4、根據關節的預測類標，使用反向傳播算法對關節依賴的人體骨架提取網絡模型進行優化，得到最優關節依賴的人體骨架提取網絡模型；S5、將測試集輸入最優關節依賴的人體骨架提取網絡模型，得到關節的測試類標；S6、根據關節的測試類標，提取出人體骨架；本發明解決了現有技術存在的優化困難、過程復雜、關節之間的關系建模效果差、準確性低以及實用性低的問題。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于關節依賴的人體骨架提取方法。

背景技術

目前，在圖像理解、人機交互、虛擬現實等眾多計算機視覺領域中，人體骨架提取是人體動作識別和行為分析的關鍵技術。近年來也是一個非常熱門的研究方向，所謂人體骨架提取，簡單來說，就是能夠正確估計出給定圖像上人體關鍵部位的位置、方向以及尺度信息，如頭部、肩膀、左右手臂、大小腿等的姿態變化。在現實生活中具有重要的應用價值。

人體骨架提取是一項富有挑戰性的任務，如何設計一個有效的人體骨架提取系統需要考慮人體姿態的差異、光照的影響、拍攝的角度變換、部分遮擋、局部形變等因素。

現有技術存在以下問題：

(1)對于人體骨架提取中關節之間的關系建模問題，傳統的方法使用圖模型來進行處理，但是由于圖模型的優化比較困難，過程復雜，且沒有考慮關節與關節之間的差異性，因此不能取得很好的效果；

(2)現有技術沒有考慮不同類型的關節具有不同的難度，方法的實用性低；

(3)現有技術沒有考慮到采用卷積神經網絡的方法得益于表征學習能夠自動學習到具有鑒別性的特征，因此方法的準確性低。

發明內容

針對現有技術中的上述不足，本發明提供的一種過程簡單、準確性和實用性高的基于關節依賴的人體骨架提取方法，改善了建模的效果，解決了現有技術存在的優化困難、過程復雜、關節之間的關系建模效果差、準確性低以及實用性低的問題。

為了達到上述發明目的，本發明采用的技術方案為：

一種基于關節依賴的人體骨架提取方法，包括以下步驟：

S1：對圖片數據集進行預處理和擴增，并劃分為訓練集和測試集；

S2：構建關節依賴的人體骨架提取網絡；

S3：將訓練集輸入關節依賴的人體骨架提取網絡，得到關節依賴的人體骨架提取網絡模型以及關節的預測類標；

S4：根據關節的預測類標，使用反向傳播算法對關節依賴的人體骨架提取網絡模型進行優化，得到最優關節依賴的人體骨架提取網絡模型；

S5：將測試集輸入最優關節依賴的人體骨架提取網絡模型，得到關節的測試類標；

S6：根據關節的測試類標，提取出人體骨架。

進一步地，步驟S1中，進行預處理，包括如下步驟：

S1-1：生成變換矩陣；

S1-2：將圖片數據集中原始圖像上的像素點坐標乘以變換矩陣，得到變換后坐標位置；

S1-3：將坐標位置位于縮放圖像范圍中的像素點復制到變換矩陣中，并舍去范圍外的像素點，實現圖像的預處理。

進一步地，步驟S2中，關節依賴的人體骨架提取網絡模型，包括前端的特征提取部分和后端的關節依賴建模部分；特征提取部分依次由卷積、殘差模塊、最大池化以及兩個殘差模塊構成。