[發(fā)明專利]一種自監(jiān)督單視圖三維發(fā)絲模型重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110453009.8
• 申請日: 2021-04-26
• 公開（公告）號: CN113129347A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 于耀;潘霄禹;周余;都思丹
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06T7/11;G06T15/00;G06T17/10;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 杜陽陽

本發(fā)明涉及一種自監(jiān)督單視圖三維發(fā)絲模型重建方法及系統(tǒng)，獲取肖像圖像樣本的發(fā)型區(qū)域占用圖、發(fā)絲紋理方向圖和投影視角，構(gòu)建初始的單視圖3D發(fā)型重建網(wǎng)絡(luò)，以發(fā)型區(qū)域占用圖和2D占用圖的對應(yīng)像素的差值以及發(fā)絲紋理方向圖和2D方向圖的對應(yīng)像素的差值構(gòu)建損失函數(shù)，對初始的單視圖3D發(fā)型重建網(wǎng)絡(luò)進行訓(xùn)練，最后將待重建肖像圖像輸入訓(xùn)練好的單視圖3D發(fā)型重建網(wǎng)絡(luò)，獲得3D數(shù)字化發(fā)型。本發(fā)明在網(wǎng)絡(luò)訓(xùn)練時無需2D到3D的真實數(shù)據(jù)對做監(jiān)督，而是利用單張照片作為輸入，借助可微分體積場重投影，將三維數(shù)據(jù)映射回二維，以輸入本身作為約束，完成自監(jiān)督，利用訓(xùn)練好的單視圖3D發(fā)型重建網(wǎng)絡(luò)實現(xiàn)了一種端到端的三維發(fā)型重建，讓用戶快速獲取發(fā)型重建結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺與計算機圖形學(xué)技術(shù)領(lǐng)域，特別是涉及一種自監(jiān)督單視圖三維發(fā)絲模型重建方法及系統(tǒng)。

背景技術(shù)

單視圖3D頭發(fā)數(shù)字化的最新進展為給用戶提供可訪問的高質(zhì)量CG(ComputerGraphics，計算機動畫)角色提供了可能，從而幫助實現(xiàn)新形式的個性化VR和游戲體驗。

在建模CG角色時，創(chuàng)建高質(zhì)量的3D頭發(fā)模型是最耗時的任務(wù)之一。盡管有各種設(shè)計工具如XGen等商業(yè)解決方案，但為英雄角色制作單個3D頭發(fā)模型仍需要耗費藝術(shù)家數(shù)小時甚至數(shù)天才能達到令人滿意的結(jié)果。因此，已有很多工作致力于引入了毛發(fā)數(shù)字化技術(shù)以試圖減少和消除3D頭發(fā)建模的費力和手動性。

在基于多視圖的建模方案中，大部分要借助昂貴的硬件設(shè)備，受控的捕獲設(shè)置和專業(yè)的手動清理，如使用全方位可控光源的頭發(fā)捕捉系統(tǒng)、使用Kinect掃描得到RGB-D的圖像數(shù)據(jù)。而一種使用四視圖的建模方法，使用的雖然也是RGB的圖片，但對“前后左右”四張視圖的視角有較嚴(yán)格的要求，這也不是用戶可以獨自獲取的。

單視圖頭發(fā)建模解決方案在消費者友好的3D頭像數(shù)字化的背景下變得越來越重要。一種數(shù)據(jù)驅(qū)動方法，可以從單個輸入照片和一些用戶交互中生成整個發(fā)型，并非全自動方案。后來提出了一個全自動變體，使用增強的3D發(fā)型數(shù)據(jù)庫和深度卷積神經(jīng)網(wǎng)絡(luò)來分割頭發(fā)區(qū)域。有方法通過引入基于深度學(xué)習(xí)的頭發(fā)屬性分類器進一步提高了檢索性能，這增加了對難以提取局部定向字段的挑戰(zhàn)性輸入圖像的魯棒性。然而，這些數(shù)據(jù)驅(qū)動的方法依賴于數(shù)據(jù)庫的質(zhì)量和多樣性，以及輸入圖像的成功預(yù)處理和分析。特別是，如果數(shù)據(jù)庫中沒有具有可識別相似性的3D頭發(fā)模型，則重建的頭發(fā)模型可能會失敗。此外，隨著頭發(fā)模型的多樣性或數(shù)量的增加，手工設(shè)定的描述變得難以優(yōu)化。

將深度學(xué)習(xí)應(yīng)用于3D數(shù)據(jù)的研究也越來越多。深度神經(jīng)網(wǎng)絡(luò)用于諸如分類和回歸之類任務(wù)的成功，可以通過它們將數(shù)據(jù)轉(zhuǎn)換成高維特征表示的有效性來解釋。因為卷積神經(jīng)網(wǎng)絡(luò)被設(shè)計用于處理圖像，所以3D形狀通常被轉(zhuǎn)換成規(guī)則網(wǎng)格表示以實現(xiàn)卷積。有方法將3D點云或網(wǎng)格渲染到深度貼圖中，然后將2D卷積應(yīng)用于它們。也有方法直接將3D卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于變分自動編碼器。

綜上，現(xiàn)有方法主要存在以下問題：普通用戶難以獲取數(shù)據(jù)、非全自動、非端到端、算法耗時長。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種自監(jiān)督單視圖三維發(fā)絲模型重建方法及系統(tǒng)，以實現(xiàn)一種端到端的三維發(fā)型重建系統(tǒng)，讓用戶快速獲取發(fā)型重建結(jié)果。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種自監(jiān)督單視圖三維發(fā)絲模型重建方法，所述方法包括：

獲取肖像圖像樣本的發(fā)型區(qū)域占用圖和發(fā)絲紋理方向圖；

根據(jù)所述肖像圖像樣本，利用Ray-casting光線投射投影方式，獲得所述肖像圖像樣本的投影視角；

根據(jù)圖像編碼器和訓(xùn)練好的VAE網(wǎng)絡(luò)中的體積解碼器，構(gòu)建初始的單視圖3D發(fā)型重建網(wǎng)絡(luò)；

將所述肖像圖像樣本輸入初始的單視圖3D發(fā)型重建網(wǎng)絡(luò)，獲得所述肖像圖像樣本的重建體積模型；