[發明專利]一種基于帶孔卷積的3D多人人體姿態估計方法

有效

• 申請號: 201910751980.1
• 申請日: 2019-08-15
• 公開（公告）號: CN110659565B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 解梅;韓利夫;李思琦;艾文杰;張志強;朱超
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/50
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明公開了一種基于帶孔卷積的3D多人人體姿態估計方法，屬于人體姿態估計技術領域。本發明采用兩階段的3D人體姿態估計模型，先采用2D人體姿態估計方法得到2D人體關鍵點，再使用3D轉化模型得到3D人體關鍵點。2D人體姿態估計方法的卷積層采用直線型串行連接，與現在主流的多分辨率+多旁路的連接方式相比，參數量可以大大減小；通過所設置的單人2D姿態的關鍵點估計網絡模型的具體結構，可以簡單高效地實現模型各個卷積層的感受野的增大，有效提升模型對關鍵點局部信息的區分能力；同時，本發明的3D轉化模型設置得較為精簡，擁有較小的參數量，能有效提升3D人體姿態估計方法的估計準確率。

技術領域

本發明涉及人體姿態估計技術領域，尤其是涉及了一種基于帶孔卷積的3D多人人體姿態估計方法。

背景技術

在現有的3D人體姿態估計方法中，主要有兩類，第一類是直接通過端到端的網絡，輸入圖像，直接得到3D人體關鍵點。第二類是首先使用2D姿態估計方法檢測出2D關鍵點，然后通過匹配對齊的方式得到3D關鍵點。在第一類方法中，往往準確率不高，因為傳統的端到端網絡，對于3D姿態的深度信息的利用效率不太高。而第二類方法，現有的處理方式一般是通過建立3D姿態庫，將2D姿態轉化問題變為匹配問題，但因為3D姿態庫的有限性，不能很好地覆蓋所有的姿態，因此，也會造成3D姿態估計的準確率有限。

現有的2D多人人體姿態估計方法，主要分為自頂向下和自底向上兩種，自頂向下方法主要是一個目標檢測+單人姿態估計的過程，自底向上是一個關節檢測+分組的過程。自頂向下方法相對于自底向上方法，準確率更高，但耗時較長。在對時間效率要求不高的場合，更適合使用自頂向下方法。

當前，在采用自頂向下的2D多人人體姿態估計方法中，主要存在下述不足：

(1)局限于其對應的感受野，在單人關鍵點檢測的過程中，關鍵點局部信息的區分性較弱，很容易與背景中出現的同樣的局部區域形成混淆；

(2)關鍵點定位主要依賴于目標檢測算法生成的裁剪區域，而使用目標檢測產生裁剪區域的過程中，容易出現檢測不準、重復檢測等現象，會對姿態估計方法的效果產生影響。

為了提升通過2D姿態估計方法檢測出2D關鍵點，再通過匹配對齊的方式得到3D關鍵點的3D人體姿態估計方法的估計準確率，有必要對現有的2D姿態估計方法進行改進，從而得到更好的3D人體姿態估計性能。

發明內容

本發明的發明目的在于：針對上述存在的問題，提供一種3D人體姿態估計性能更好的基于帶孔卷積的3D多人人體姿態估計方法。

本發明基于帶孔卷積的3D多人人體姿態估計方法包括下列步驟：

步驟一、設置單人2D姿態的關鍵點估計網絡模型，并基于深度神經網絡學習方式對單人2D姿態的關鍵點估計網絡模型的網絡參數進行訓練，得到訓練好的單人2D姿態的關鍵點估計網絡模型(即構建用于單人2D姿態的關鍵點估計網絡模型)；

所述單人2D姿態的關鍵點估計網絡模型為基于帶孔卷積和反卷積的深度神經網絡，包括依次連接的卷積層Conv1，池化層，卷積層Conv2～Conv5，反卷積層D1～D3，以及卷積層Conv6；

其中，卷積層Conv1的優選設置為：卷積核大小為7x7，步長為2；

池化層為最大值池化，優選的設置為：卷積核大小為3x3，步長為2；

所述卷積層Conv2～Conv5包括多個最小單元，所述最小單元為：在兩個普通卷積的中間設置一個帶孔卷積，普通卷積的卷積核大小和步長可調；帶孔卷積的卷積核大小和膨脹系數均可調，且帶孔卷積的卷積核的大小最好不超過11；優選設置普通卷積與帶孔卷積具有相同的步長，優選步長值為1；

且卷積層Conv2～Conv5包括的具體最小單元數的設置方式為：