[發明專利]一種基于圖卷積的從圖像中重建著裝人體模型的方法

有效

• 申請號: 202110362435.0
• 申請日: 2021-04-02
• 公開（公告）號: CN113077545B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 毛愛華;禚冠軍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于圖卷積的從圖像中重建著裝人體模型的方法，包括以下步驟：S1、生成光滑人體模型，通過頂點偏差建立著裝人體模型的表示方式；S2、搭建基于圖卷積的神經網絡，所述神經網絡包括圖像特征提取網絡、基于圖卷積的人體外貌優化網絡以及圖像特征轉換模塊；S3、訓練所述基于圖卷積的神經網絡；S4、對于需要預測的圖像預處理，并獲取與之對應的光滑人體模型；S5、將預處理后的測試圖像輸入訓練好的神經網絡神經網絡取最后階段的輸出與光滑人體模型疊加得到最終的著裝人體模型。

技術領域

本發明涉及計算機圖形學、計算機視覺與機器學習的三維物體重建領域，具體涉及一種基于圖卷積的從圖像中重建著裝人體模型的方法。

背景技術

三維模型的重建一直是計算機圖形圖像領域的熱門問題，其中三維人體重建更是一個受到廣泛關注且具有巨大應用價值的領域。目前高質量三維人體模型往往需要借助一些相機陣列或者特殊的深度、激光相機來獲得初步的圖像信息，然后經過復雜的后處理得到模型。這種方法的精度較高，但是需要昂貴的專用設備，推廣難度大，且重建過程操作復雜。另外一種獲得三維人體的方法是基于單個深度或者彩色相機來獲得圖像，然后借助于神經網絡的處理來快速獲得重建結果。因為深度相機并不像普通彩色相機那么普遍，導致基于深度相機的方法受制于采集設備。而僅利用彩色圖像的方法，由于輸入圖像中包含的人體信息有限，需要神經網絡學習人體的先驗知識作為補充。其中部分工作恢復的結果雖然可控，但是僅包含人體的體型與姿勢，并不包含人體的著裝，無法反應照片中真實人體的衣服外貌。另外有工作嘗試從圖像中恢復出著裝的人體，但是它恢復的結果不具有可控性，無法直接進行二次的姿勢或者體型的變化，這給人體重建結果推廣與使用帶來了困難。

《一種人體二維圖像采集裝置及三維人體表面重建系統》(CN?206162583?U)由紅外圖像采集裝置和三維人體表面重建系統組成。采集裝置為一個紅外相機，利用架設的滑軌或轉盤，自動轉動相機或人體，從而獲得靜止人體在各種角度下的紅外圖像。多視角的紅外圖像送入與采集裝置相連的三維人體表面重建裝置，重建三維人體。

《基于圖片的SMPL參數預測以及人體模型生成方法》(CN?111968217?A)分為基本人體模型(SMPL)的形狀與姿勢參數的預測。輸入的圖像通過特殊設計具有注意力機制的神經網絡提取人體輪廓，依據人體輪廓預測SMPL的形態參數，利用姿態參數預測網絡預測SMPL的姿勢參數，姿勢參數θ和形狀參數β控制SMPL的生成結果，得到最終的三維人體模型。

《一種基于簡易測量服的三維人體快速重建方法》(CN?108269302?B)首先針對現有人體庫中的人體，提取其中的特征參數與特征曲線作為人體的特征，然后利用PCA方法構建整個人體庫的形狀空間。神經網絡被用來建立人體特征與形狀空間之間的映射關系。然后測量待測人體特征參數以及利用簡易測量服獲取該人體的特征曲線，這兩項輸入到之前的神經網絡映射模型，得到形狀空間中的各特征向量對應的特征值，再還原重建得到三維人體模型。

《基于RGBD單視角圖像人體三維重建方法及裝置》(CN?110335343?A)通過深度相機采集人體的RGB彩色圖片與深度圖片，依據圖片得到對應人體在圖像中包含的人體分割信息、二維關節點信息和三維關節點信息，憑借三維關節點對基本人體模型(SMPL)進行約束與初步的預測，將初步預測的三維人體渲染深度圖像，使得預測模型深度值與采集的深度圖數值盡可能相似，然后結合單視角彩色圖像與從渲染中恢復三維形狀的方法對初步預測的人體模型進行進一步的優化，并進行三角化重建獲得三維人體模型。

一種有遮擋情況下的人體三維重建方法、裝置及電子設備》(CN?111739161?B)主要解決的是在遮擋情況下的三維人體重建。利用相機采集的彩色圖像與深度圖像，對彩色圖像里的目標進行實例分割，得到人體掩碼與遮擋物掩碼，依此信息將深度圖分為人體深度圖與遮擋物深度圖，利用神經網絡估計遮擋物姿態然后重建遮擋物，基于彩色圖像，人體深度圖與遮擋物模型對人體造成的幾何約束進行三維人體重建。