[發明專利]一種自監督單視圖三維發絲模型重建方法及系統

在審

• 申請號: 202110453009.8
• 申請日: 2021-04-26
• 公開（公告）號: CN113129347A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 于耀;潘霄禹;周余;都思丹
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06T7/11;G06T15/00;G06T17/10;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 杜陽陽

1.一種自監督單視圖三維發絲模型重建方法，其特征在于，所述方法包括：

獲取肖像圖像樣本的發型區域占用圖和發絲紋理方向圖；

根據所述肖像圖像樣本，利用Ray-casting光線投射投影方式，獲得所述肖像圖像樣本的投影視角；

根據圖像編碼器和訓練好的VAE網絡中的體積解碼器，構建初始的單視圖3D發型重建網絡；

將所述肖像圖像樣本輸入初始的單視圖3D發型重建網絡，獲得所述肖像圖像樣本的重建體積模型；

將所述重建體積模型的占用場和方向場輸入可微分體積渲染節點，按照所述肖像圖像樣本的投影視角進行投影，獲得所述肖像圖像樣本的2D占用圖和2D方向圖；

以發型區域占用圖和2D占用圖的對應像素的差值，以及發絲紋理方向圖和2D方向圖的對應像素的差值構建損失函數；

以最小化損失函數為優化目標，對初始的單視圖3D發型重建網絡進行訓練，獲得訓練好的單視圖3D發型重建網絡；

獲取待重建肖像圖像，并將所述待重建肖像圖像輸入所述訓練好的單視圖3D發型重建網絡，獲得所述待重建肖像圖像的3D發型體積模型；

將所述待重建肖像圖像的3D發型體積模型轉換為3D發絲模型，并傳入渲染器，獲得3D數字化發型。

2.根據權利要求1所述的自監督單視圖三維發絲模型重建方法，其特征在于，所述獲取肖像圖像樣本的發型區域占用圖和發絲紋理方向圖，具體包括：

將肖像圖像樣本輸入Gabor濾波器，獲得肖像紋理方向圖；所述肖像紋理方向圖包括發絲的紋理方向；

將所述肖像紋理方向圖和所述肖像圖像樣本輸入UNet++分割網絡，獲得發型區域占用圖；

在所述肖像紋理方向圖中提取所述發型區域占用圖對應的發型區域，獲得發絲紋理方向圖。

3.根據權利要求1所述的自監督單視圖三維發絲模型重建方法，其特征在于，所述根據圖像編碼器和訓練好的VAE網絡中的體積解碼器，構建初始的單視圖3D發型重建網絡，之前還包括：

從數據庫中獲取多個表示3D發型的發絲模型；

將每個發絲模型轉換為體積模型，構成體積模型訓練集；

利用所述體積模型訓練集對VAE網絡進行訓練，獲得訓練好的VAE網絡；所述訓練好的VAE網絡包括體積編碼器和體積解碼器。

4.根據權利要求3所述的自監督單視圖三維發絲模型重建方法，其特征在于，所述將每個發絲模型轉換為體積模型，具體包括：

計算發絲模型的每個體素的發絲穿過數量；

將發絲穿過數量為0的體素的占用場設置為0；

將發絲穿過數量不為0的體素的占用場設置為1，并將所有穿過所述體素的發絲的平均生長方向作為所述體素的方向場的值；

發絲模型中所有體素的占用場和方向場構成發絲模型對應的體積模型。

5.根據權利要求3所述的自監督單視圖三維發絲模型重建方法，其特征在于，利用所述體積模型訓練集對VAE網絡進行訓練，獲得訓練好的VAE網絡，具體包括：

利用所述體積模型訓練集對VAE網絡進行訓練，獲得一次訓練好的VAE網絡；

將所述體積模型訓練集輸入所述一次訓練好的VAE網絡中的體積編碼器，獲得編碼后的體積模型訓練集；

對編碼后的體積模型訓練集中的編碼后的體積模型進行插值，獲得體積編碼模型訓練集；

將體積編碼模型訓練集輸入所述一次訓練好的VAE網絡中的體積解碼器，獲得擴充后的體積模型訓練集；

利用擴充后的體積模型訓練集對所述一次訓練好的VAE網絡進行訓練，獲得二次訓練好的VAE網絡。

6.根據權利要求1所述的自監督單視圖三維發絲模型重建方法，其特征在于，將所述重建體積模型的占用場和方向場輸入可微分體積渲染節點，按照所述肖像圖像樣本的投影視角進行投影，獲得所述肖像圖像樣本的2D占用圖和2D方向圖，之前還包括：

利用PyTorch的CudaExtension模塊，將Cuda程序編譯成Pytorch的自定義結點；

手動編寫所述自定義結點的正向傳播函數和反向傳播函數；

將體積渲染節點輸入所述自定義結點，獲得可微分體積渲染節點。