[發明專利]一種基于圖卷積的三維人體重構方法

有效

• 申請號: 202010441454.8
• 申請日: 2020-05-22
• 公開（公告）號: CN111627101B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 任柯燕;岳天一
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/73;G06N3/048;G06N3/0464;G06N3/09
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

本發明公開一種基于圖卷積的三維人體重構方法，能夠根據單目圖像生成三維人體網格。該方法包括以下步驟：采用一個殘差網絡構成的特征提取器提取輸入圖像的輪廓特征；采用一個反饋神經網絡構成的參數回歸器從提取得到的特征中回歸人體模型的參數；根據估計的參數，采用一個事先訓練好的人體模型生成人體的模板拓撲結構；粘合輪廓特征到模板拓撲結構的頂點上；采用一個殘差化的圖卷積網絡優化模板拓撲結構，使模板網格變形，從而得到目標的人體網格。這種網絡架構能夠避免原始的圖卷積網絡在回歸人體的過程中受到固定初始化的約束，在減輕網絡回歸壓力的同時，生成更為精準的預測網格。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種人體三維網格的估計方法。

背景技術

從單目圖像中回歸人體的三維姿態和外形，是計算機視覺領域一個非常有價值的研究方向?，F有豐富的技術方法能夠以簡化的人體骨架為目標進行估計。本發明則希望更進一步得到完整的人體形狀和姿勢，也就是人體的全3D網格。

通過模擬人類的雙眼視力，這個問題在多個攝像頭的實驗環境中已經得到了很好的解決。然而，實際上即便是在單眼的情況下人類同樣可以看到立體空間，這很大程度上依賴于人類的大腦能夠從單目圖像中正確地重建完整的三維空間。因此，單目重構一直是相關研究領域的重點目標，但過多的模糊性、有限的訓練數據和廣泛的成像條件使這項任務在單眼情況下尤其具有挑戰性。

傳統上，基于優化算法的方法為單眼姿態和形狀恢復提供了最可靠的解決方案。然而，緩慢的運行時間、對良好初始化的依賴以及經典的局部極小值問題造成的失敗，迫使人們將重點轉移到基于學習的方法上。這些作品的研究目標大多集中于尋找最可靠的方式來追溯人體的姿態和形狀參數，將人體的網格回歸到一個特定的參數空間。這無疑會約束網絡自身的潛力，例如，SMPL人體模型無法針對手部姿勢或面部表情建模。在現今最先進的方法中，解放參數空間約束，使用圖卷積網絡直接地回歸頂點坐標的網絡模型開始興起。但是，人體網格的頂點數量龐大，以及非歐氏空間中頂點間的鏈接特征使回歸網絡的能力面臨巨大挑戰。事實上，對于人體的體態和姿態較為突出的情況，現有的基于單目圖像輸入的網絡作品只能給出粗糙甚至混亂的估計結果。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的問題，本發明提出一種基于單目圖像的人體重構方法，能夠解決上述技術問題。

本發明的技術方案是這樣實現的：

一種基于圖卷積的三維人體重構方法，包括：

(1)利用特征提取器提取輸入圖像中人體的輪廓特征；

(2)利用參數回歸器從人體的輪廓特征中回歸人體模型的位姿和體態兩個參數；

(3)利用人體生成模型從步驟(2)預測的兩個參數中生成人體的模板拓撲結構，所述的模板結構作為后端精細雕刻網絡的初始化輸入，擁有粗糙的人體位姿和體態；

(4)粘合步驟(1)輸出的輪廓特征到步驟(3)輸出的模板拓撲結構的頂點上，得到動態模板網格；

(5)以步驟(4)得到的動態模板網格作為輸入，利用改進的圖卷積網絡通過迭代地變形模板網格，得到最終預測的人體重構網格。

所述的步驟(3)與步驟(4)生成的是一種動態人體模板，相當于一個與輸入圖像相匹配的粗制人體網格。與此同時，這種動態模板網格還保留有網格三維坐標與輪廓特征之間的關聯性，是后端網絡進一步學習的基礎。與靜態模板網格相比，本發明提出的動態網格能夠避免圖卷積無法大幅度拉伸網格的弊端，本質上，是將這部分拉伸工作交給前端的參數回歸網絡完成。

需要說明的是，上述提到的人體生成模型選用SMPL，它是一種生成式的人體回歸網絡。通過輸入指定特征空間內的模型參數，它可以生成一一對應的三維人體網格和三維人體節點。