[發(fā)明專利]實時三維人體重建的紋理渲染方法、系統(tǒng)、芯片、設備和介質

在審

• 申請?zhí)枺?/td>: 202010020056.9
• 申請日: 2020-01-08
• 公開（公告）號: CN111243071A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設計）人: 楊文康;朱煜;張迎梁
• 申請（專利權）人: 疊境數(shù)字科技（上海）有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/04;G06T15/50;G06T13/40
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 李艷梅

實時三維人體重建的紋理渲染方法、系統(tǒng)、芯片、設備和介質，方法包括：獲取拍攝對象的當前人體模型和深度圖像；選取一個當前人體模型作為標準模型，將其頂點重投影至深度圖像，提取頂點對應的顏色信息及圖像坐標，該顏色信息為顏色初始值，圖像坐標轉換成紋理坐標；將后續(xù)的人體模型頂點的顏色信息與顏色初始值計算加權和，作為標準模型頂點的新顏色；計算當前人體模型的子紋理貼圖和子掩膜，組合成完整的紋理圖和掩膜；根據紋理圖、紋理坐標進行渲染。本發(fā)明基于GPU能夠快速完成所需紋理的生成和優(yōu)化，得到高質量的紋理圖集，消除光照變化帶來的顏色裂縫。可以為在多相機系統(tǒng)產生的人體模型進行渲染，達到良好的視覺真實感。

技術領域

本發(fā)明涉及計算機視覺和計算機圖形學的三維重建領域，具體地說是一種實時三維人體重建的紋理渲染方法、系統(tǒng)、芯片、設備和介質。

背景技術

隨著立體視覺技術的發(fā)展和虛擬現(xiàn)實/增強現(xiàn)實(VR/AR)技術的逐漸普及，如何獲得日常生活中真實的人體三維模型已經成為研究的熱點和難點，特別是在動態(tài)場景中捕捉人體運動；真實的人體三維模型應用十分廣泛，可以應用在數(shù)字動畫，影視級人物動作特效采集和遠程會議等。

實時三維人體重建主要包含兩方面：幾何優(yōu)化和紋理貼圖。幾何優(yōu)化指準確生成人體三維模型的過程；該過程確定模型的幾何拓撲結構，給出相對準確的幾何信息，但是丟失了所優(yōu)化目標的紋理信息。紋理映射是將紋理像素映射到三維物體表面的過程；通過紋理映射可以恢復人體模型的紋理信息，增加模型的真實感。因此，在重建生動的人體面貌時，高質量的紋理映射起到至關重要的作用。

對于人體三維重建的紋理渲染，學術界已經開展一些研究。論文《利用單臺RGBD攝像機進行實時幾何、反照率和運動重建》(K.Guo,F.Xu,T.Yu,X.Liu,Q.Dai,and Y.Liu,“Real-time geometry,albedo and motion reconstruction using a single rgbdcamera,”ACM Transactions on Graphics(TOG)，2017)、《融合4D：挑戰(zhàn)場景的實時性能捕捉》(M.Dou,S.Khamis,Y.Degtyarev,P.Davidson,S.Fanello,A.Kowdle,S.O.Escolano,C.Rhemann,D.Kim,J.Taylor,P.Kohli,V.Tankovich,and S.Izadi,“Fusion4D:Real-timePerformance Capture of Challenging Scenes,”inACM SIGGRAPH Conference onComputer Graphics and Interactive Techniques,2016)對頂點簡單的取顏色作為輸出，該方法受限于RGB圖像的分辨率，不可避免的產生模糊現(xiàn)象和粗糙感。