[發明專利]一種基于圖空洞卷積編碼器解碼器的3D姿態估計方法

有效

• 申請號: 202110658986.1
• 申請日: 2021-06-15
• 公開（公告）號: CN113255569B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 沈復民;朱怡燃;徐行;申恒濤
• 申請（專利權）人: 成都考拉悠然科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 謝建

本發明涉及計算機視覺領域，具體是一種基于圖空洞卷積編碼器解碼器的3D姿態估計方法，包括如下步驟：步驟S1：選擇訓練數據集；步驟S2：構建圖空洞卷積編碼器解碼器模型；步驟S3：對訓練數據集進行預處理；步驟S4：對圖空洞卷積編碼器解碼器模型進行初始化操作；步驟S5：訓練圖空洞卷積編碼器解碼器模型；步驟S6：在選取的訓練數據集上驗證圖空洞卷積編碼器解碼器模型；該方法能夠有效地提取多尺度上下文信息并且精確地捕獲全局長范圍連接，這些信息對于3D姿態估計是非常有幫助的，能夠大大提高3D姿態估計的預測性能。

技術領域

本發明涉及計算機視覺領域，具體是指一種基于圖空洞卷積編碼器解碼器的3D姿態估計方法。

背景技術

幾十年來，人體姿態估計（Human Pose Estimation）在計算機視覺界備受關注，它是理解圖像和視頻中人物行為的關鍵一步，人體姿態估計包括2D姿態估計和3D姿態估計，其中2D姿態估計主要從圖像估計出2D人體關節點坐標，而3D姿態估計旨在從2D關節點坐標（或2D圖像）回歸到3D姿態估計，3D姿態估計現在吸引了越來越多的注意力在很多計算機視覺領域，比如智能監控，人機交互，視頻理解以及VR等等，在這個任務中，使用的數據是骨架數據，一系列人體關節點2D坐標，相較于RGB數據，骨架數據在動作識別中具有很好的魯棒性和靈活性，因為在基于RGB數據的姿態估計中，預測過程容易受到圖片幀中背景的干擾，從而在一定程度上降低準確率，另外骨架數據相比RGB數據，數據規模要小很多，從而減少了模型計算效率。

隨著深度學習的發展，在3D姿態估計里面主要有兩類方法，基于卷積神經網絡（卷積神經網絡）的和基于圖神經網絡（圖神經網絡）的，在之前，大部分方法習慣直接用卷積神經網絡從圖像回歸出3D姿態坐標，而它們往往伴隨有很大的計算量，后來隨著2D姿態估計的成熟，一些模型開始圖像先預處理得到2D姿態坐標，而后在進行回歸得到3D姿態，把核心工作轉移到2D姿態到3D姿態上，這一過程中，基于人體物理結構，2D和3D姿態都可以很自然的表示為一張圖，這也是隨后基于成為主流的圖神經網絡的模型所采取的數據表示形式，將人體關節點作為點，將基于身體物理連接的骨骼作為邊，建立圖，這樣就可以利用強大的圖神經網絡來更好地融合骨架信息，來促進預測性能，在基于圖神經網絡的方法中，圖卷積網絡被頻繁使用，圖卷積網絡可以看作卷積神經網絡在非歐式空間數據上的推廣，非常適合在像圖一樣的拓撲結構上提取信息。

存在的眾多方法中，時空圖卷積網絡首先通過圖卷積網絡取關節信息，取得了比較好的性能和效率，但在雙流自適應圖卷積網絡中，長范圍信息沒有被很好提取，受非局部網絡的啟發，加入了自適應圖卷積模塊，另外也是利用了雙流架構，語義圖卷積網絡同時提取局部和非局部信息，在最新的半動態超圖網絡中，將人體骨架看作是一個超圖，并且基于人體動力學建立靜態和動態超圖，從而提出了半動態超圖網絡來進行3D姿態估計。

然而，在存在的基于圖神經網絡的方法中，它們通常采用了受限的卷積核并且僅在單一關節尺度，這樣忽略了豐富的多尺度上下文信息，事實上，這些多尺度上下文信息對促進預測性能是至關重要的，另外，先前的一些方法嘗試提取非局部信息，但卻忽略了帶有豐富語義信息的位置編碼信息（比如：關節類型）。

發明內容

基于以上問題，本發明提供了一種基于圖空洞卷積編碼器解碼器的3D姿態估計方法，解決了在存在的基于圖神經網絡的方法中忽略多尺度上下文信息和語義信息問題以及提取非局部信息時忽略了帶有豐富語義信息的位置編碼信息的問題。

為解決以上技術問題，本發明采用的技術方案如下：

一種基于圖空洞卷積編碼器解碼器的3D姿態估計方法，包括如下步驟：

步驟S1：選擇訓練數據集；

步驟S2：構建圖空洞卷積編碼器解碼器模型；

步驟S3：對訓練數據集進行預處理；

步驟S4：對圖空洞卷積編碼器解碼器模型進行初始化操作；