[發明專利]融合方向圖的人體姿態估計方法

在審

• 申請號: 201810588480.6
• 申請日: 2018-06-08
• 公開（公告）號: CN109033946A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 莊文林;王雁剛;夏思宇
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/207;G06N3/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 葉涓涓

本發明公開了一種融合方向圖的人體姿態估計方法，包括：進行特征提取得到高層次特征，進行關鍵點位置圖的初步學習檢測以及方向圖的檢測得到位置熱圖以及方向熱圖；將預測的位置熱圖、方向圖以及高層次特征進行融合，得到更加精確的位置熱圖。本發明通過融合方向信息，提高關鍵點預測精度，與以往的網絡結構相比，所提出的深度卷積網絡可以得到更多的人類姿態信息。本發明能夠有效解決遮擋問題下的姿態估計，對于被遮擋的關鍵點，當位置熱圖基本正確時，即使第一階段的位置網絡不能很好地找到關鍵點位置，后面的融合網絡也能準確的預測出關鍵點位置，魯棒性更佳。本方法的網絡結構參數量相對小很多，在訓練階段對顯存的要求不高，訓練更容易收斂。

技術領域

本發明屬于計算機視覺、圖像處理技術領域，涉及一種人體姿態估計技術，具體的說，是涉及一種融合方向圖的人體姿態估計方法。

背景技術

隨著智能手機、平板電腦等設備的普及，針對人體活動的圖像、視頻數據每時每刻都在產生，如何讓計算機自動理解人體動作也就顯得很重要，其應用領域將非常廣泛，如人機交互、智能監控等。計算機能夠高效自動地理解人體動作，將對整個社會產生深遠的影響。在這種背景下，人體姿態估計被提了出來。人體姿態估計的目的就是檢測出人體的姿態行為，通過計算機學習理解圖像、視頻中的人體姿態行為信息，得到數字化的、可呈現的姿態信息。人體姿態估計問題是計算機視覺領域的一個熱點問題。深度學習是機器學習研究中的一個新的領域，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。隨著深度學習的發展，深度學習已經運用于多個領域，在計算機視覺領域中的貢獻尤為突出。人體姿態估計方面的研究在深度學習的幫助下也獲得了長足的進步。

到目前為止，人體姿態估計已經取得了很多的研究成果，但都具有這樣或那樣的缺陷。概括起來可以分為三大類：1)采用形象化的結構模型，這些方法都是針對人體運動鏈的關鍵位置在圖片中尋找相應的局部區域，以此進行優化得到姿態估計模型。但由于人體姿態靈活，結構模型很難建立。2)使用深度卷積網絡回歸部位關鍵點坐標。一開始是直接使用卷積網絡回歸關鍵點坐標，并且級聯了多個關鍵點回歸器，從而提高了回歸的精度。之后，又出現了使用卷積網絡回歸關鍵點熱圖的方式。但回歸方法的魯棒性很差，模型可擴展性較差。3)檢測熱圖的方法，即在關鍵點處放置二維高斯熱圖，讓卷積網絡學習產生熱圖，取熱圖的峰值作為此關鍵點的精確坐標。這樣的方法具有一定的魯棒性，但對于被遮擋的部位關鍵點或者與背景顏色趨于一致的部位關鍵點很難檢測出來。

要進行人體姿態估計，需要解決很多技術問題：(1)遮擋問題是姿態估計中最難解決的問題。分為自遮擋與它遮擋，自遮擋就是人體本身遮住了一部分關鍵點，這是照片拍攝時的角度問題導致的；它遮擋是指其它物體對于人體關鍵點的遮擋。在現有的方法中，基本都是直接檢測位置熱圖，讓深度卷積神經網絡隱式學習人體關鍵部位之間的關系，這導致遮擋的人體部位難以檢測，并且也減慢了訓練的速度。(2)前景圖與背景圖融合，即人體的某些關鍵點區域與背景圖中的相鄰區域顏色基本一致，這就導致在關鍵點檢測時無法準確估計出關鍵點位置，導致檢測誤差大。(3)關鍵點之間難以辨別。例如，側身情況下左右腳難以區分。

發明內容

為解決上述問題，本發明公開了一種融合方向圖的人體姿態估計方法，不同于以往直接檢測關鍵點的方法，本發明讓卷積網絡不僅僅學習關鍵點位置信息，還學習關鍵點方向信息。本發明提出方向圖來解決關鍵點的內部方向，通過在一個統一的網絡體系結構中集成了身體部位的關鍵點位置和內部方向來考慮人體的全局姿態信息，通過在深度卷積網絡階段融合這兩個信息，完成了對人體更多信息的監督學習。

為了達到上述目的，本發明提供如下技術方案：

融合方向圖的姿態估計方法，包括如下步驟：

步驟1，進行特征提取得到高層次特征，進行關鍵點位置圖的初步學習檢測以及方向圖的檢測得到位置熱圖以及方向熱圖；

步驟2，將預測的位置熱圖、方向圖以及高層次特征進行融合，得到更加精確的位置熱圖。