[發明專利]一種基于帶孔卷積的3D多人人體姿態估計方法

有效

• 申請號: 201910751980.1
• 申請日: 2019-08-15
• 公開（公告）號: CN110659565B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 解梅;韓利夫;李思琦;艾文杰;張志強;朱超
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/50
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.一種基于帶孔卷積的3D多人人體姿態估計方法，其特征在于，包括下列步驟：

步驟一、設置單人2D姿態的關鍵點估計網絡模型，并基于深度神經網絡學習方式對單人2D姿態的關鍵點估計網絡模型的網絡參數進行訓練，得到訓練好的單人2D姿態的關鍵點估計網絡模型；

所述單人2D姿態的關鍵點估計網絡模型為基于帶孔卷積和反卷積的深度神經網絡，包括依次連接的卷積層Conv1，池化層，卷積層Conv2～Conv5，反卷積層D1～D3，以及卷積層Conv6；

其中，池化層為最大值池化；

所述卷積層Conv2～Conv5分別包括多個最小單元；

所述最小單元為：在兩個普通卷積的中間設置一個帶孔卷積；

卷積層Conv2～Conv5包括的具體最小單元數的設置方式為：預設卷積層Conv2～Conv5的輸出特征圖大小，并基于單個最小單元的輸出特征圖大小O_minunit，計算各卷積層得到對應的輸出特征圖大小所需的最少的最小單元個數；

其中i為輸入最小單元的特征圖大小，p為帶孔卷積的填充大小，h為帶孔卷積的卷積核的大小，d為帶孔卷積的膨脹系數，s為帶孔卷積的步長；

反卷積層D1～D3為三個相同的反卷積層；

所述卷積層Conv6用于輸出預置的各人體關鍵點的2D坐標，即將每個人體關鍵點的預測熱圖中概率最大的點作為各人體關鍵點的2D坐標，得到2D姿態關鍵點的估計結果；

步驟二、設置3D轉化模型，并基于深度神經網絡學習方式對3D轉化模型的網絡參數進行訓練，得到訓練好的3D轉化模型；

所述3D轉化模型包括順次連接的第一全連接層、級聯神經網絡和第二全連接層；

3D轉化模型的第一全連接層用于提升輸入3D轉化模型的2D姿態關鍵點的維度；

所述級聯神經網絡由3個子神經網絡模塊級聯構成，各子神經網絡模塊包括兩個全連接層，且每個全連接層后面順次連接批標準化層、激活函數層和隨機失活層，并將子神經網絡模塊的第一個全連接層與第二個激活函數的輸出的融合結果作為每個子神經網絡模塊的輸出；子神經網絡模塊的兩個全連接層的輸出通道數與3D轉化模型的第一全連接層的輸出通道數相同；

3D轉化模型的第二全連接層的輸出通道數為N×3，其中N表示人體關鍵點數量，用于輸出輸入3D轉化模型的2D姿態關鍵點的三維映射坐標；

步驟三、基于訓練好的單人2D姿態的關鍵點估計網絡模型與3D轉化模型獲取待處理圖像的3D多人人體姿態估計：

對待處理圖像進行人體分割處理，得到多個關于單人圖像的分割結果；

對各分割結果進行圖像尺寸歸一化處理后，輸入到訓練好的單人2D姿態的關鍵點估計網絡模型，獲取各分割結果對應的2D姿態的關鍵點；

再將每幅分割結果的2D姿態的關鍵點輸入到訓練好的3D轉化模型，得到待處理圖像中的每個人的3D姿態關鍵點坐標。

2.如權利要求1所述的方法，其特征在于，所述卷積層Conv1具體設置為：卷積核大小為7x7，步長為2。

3.如權利要求1所述的方法，其特征在于，所述池化層具體設置為：卷積核大小為3x3，步長為2。

4.如權利要求1所述的方法，其特征在于，設置普通卷積與帶孔卷積具有相同的步長。