[發明專利]一種面向2D圖像的人體3D姿態估計方法

在審

• 申請號: 202010021822.3
• 申請日: 2020-01-09
• 公開（公告）號: CN111353381A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉龍;楊樂
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/73
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 張皎

本發明公開了一種面向2D圖像的人體3D姿態估計方法，步驟1、對2D圖像依次進行卷積、歸一化、激活操作，輸出圖像步驟2、對圖像依次進行卷積、歸一化、激活操作，輸出圖像步驟3、將圖像輸入子網一進行處理，輸出特征圖C₁、C₂；步驟4、將特征圖C₁、C₂輸入子網二進行處理，輸出特征圖D₁、D₂、D₃；步驟5、將特征圖特征圖D₁、D₂、D₃輸入子網三進行處理，輸出特征圖E₁、E₂、E₃；步驟6、對特征圖E₁、E₂、E₃進行處理，得到矩陣P，即為估計的姿態。本發明的方法，估計深度準確、算法參數量少、泛化性強。

技術領域

本發明屬于人體姿態估計技術領域，具體涉及一種面向2D圖像 的人體3D姿態估計方法。

背景技術

在深度神經網絡中，對圖像中人體姿態的3D估計方法主要有 CNN(ConvolutionalNeural Networks，卷積神經網絡)、LSTM(Long Short Term Memory network，長短期記憶網絡)、GCN(Graph convolution Networks)和GAN(Generative Adversarial Network)等網絡，其中CNN是目前的主流。

卷積神經網絡在姿態估計中最初應用是對圖像中人體的2D姿態 估計，即從單張圖片中估計單人或多人的關節點位置，并將相關的關 節點連接起來。隨著算法性能的優化以及拓展，2D姿態估計的準確 率或評價指標接近瓶頸，人們把目光投向對圖像中人體的3D姿態估 計。近幾年對單張圖像中人體3D姿態估計的方法主要基于Stacked Hourglass(2016年ECCV)、CPM(Convolutional Pose Machine是CMU Yaser Sheikh的研究)、MSPN(Multi-Stage Pose Network，由Face++ 提出，2018年coco關鍵點檢測冠軍)和HRNet等，Stacked Hourglass 采用堆疊多個Hourglass，每一個Hourglass使用了多個殘差塊(2015年何凱明)，整體框架分步訓練實現對3D姿態的估計；CPM是計算 每個階段下各關節點的響應圖，找到響應最大的值即就是該關節點的 位置所在；MSPN使用多階段不同尺度的特征融合，兼顧小尺度特征 的語義信息和大尺度特征的局部細節，完成對關節位置的預測；上述方法進行3D姿態估計的可以完成對圖像中人體姿態的估計，在各項 評估的標準中獲得較高的分數，但是其缺點如下：

(1)在預測深度方面，算法不能夠準確地估計出各關節點的深 度值；

(2)沒有充分考慮到人體各關節之間的關系，使得估計出來的 一些姿態是錯誤的，不符合人體關節間的運動關系(如膝蓋前彎等錯 誤估計)；

(3)算法模型參數量較大。

發明內容

本發明的目的是提供一種面向2D圖像的人體3D姿態估計方法， 估計深度準確、算法參數量少、泛化性強。

本發明所采用的技術方案是，一種面向2D圖像的人體3D姿態 估計方法，具體按照以下步驟實施：

步驟1、對2D圖像依次進行卷積、歸一化、激活操作，輸出圖 像

步驟2、對圖像依次進行卷積、歸一化、激活操作，輸 出圖像

步驟3、將圖像輸入子網一進行處理，輸出特征圖C₁、C₂；