[發明專利]一種基于改進可編輯的三維生成方法

在審

• 申請號: 202110365504.3
• 申請日: 2021-04-06
• 公開（公告）號: CN113112616A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 韓曉迪;張菁;張天馳
• 申請（專利權）人: 濟南大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種可編輯的三維發型生成方法。具體涉及一種基于改進Hair?GAN的可編輯三維發型生成方法。該方法主要包括：首先，設計一個圖像編輯界面，通過該界面，用戶可以設計出自己想要的發型形狀、發絲方向。之后，在一個發型圖片數據庫中檢索出形狀和發絲方向均與編輯的發型相匹配的圖像，進而對檢索到的圖片樣本進行細節處理。并將處理好的圖片樣本的二維方向圖、置信圖等作為輸入信息傳入改進的Hair?GAN框架中，該框架將輸入的二維信息轉換為相應的三維方向體素場來引導生成三維發型。而改進的Hair?GAN框架是根據VAE?GAN框架改進的，目的是減少其生成三維發型方向體素場的訓練難度，提高生成效率與精確度，使得設計出來的三維發型更加真實，更加符合用戶的要求。

技術領域

本發明涉及虛擬現實技術、計算機圖形學和計算機視覺領域，具體涉及一種基于改進的Hair-GAN的可編輯三維發型生成方法。

背景技術

隨著新興的虛擬現實與增強現實技術的日益發展，追求個性化的用戶群體熱衷于現實世界與數字世界的交互融合，因此對終端用戶開放的虛擬角色建模應用廣泛受到了人們的歡迎。發型建模是虛擬角色建模的一個重要組成部分，不同的發型能夠反映出不同角色的身份、性格甚至喜好。實現與現實世界輸入相似的發型建模，能夠讓虛擬角色更加生動、逼真、個性化。然而，由于現實發型的多樣性及其錯綜復雜的幾何結構，靈活的創建出用戶需要的、真實的虛擬三維發型一直是圖形學研究中的一項重大挑戰。

近些年來，深度學習算法在很多研究領域得到了廣泛使用，并成為了一種流行趨勢。深度學習算法的特征之一是通過對數據庫中多樣化數據的學習，有效地將數據庫模型信息轉化為高維度的特征參數表示。而在近些年來，許多學者們在生成三維發型的方法中都受到了深度學習的思想啟發，并將其引入基于圖像的三維發型建模研究中，然而在生成模型的過程之中，往往會出現訓練困難，生成結果缺乏真實性等情況。并且在目前的三維發型重建的過程中，人們往往都是根據現有圖像中的發型進行重建，而沒有根據用戶的需求、想法創建出用戶想要的發型，也就是缺乏交互性。因此，使用深度學習算法創建出可以由用戶自由編輯、自由設計的三維發型具有重要的突破意義。

本發明針對可編輯的三維發型進行研究，通過一個圖像編輯界面，用戶可以設計出自己想要的發型形狀、發絲方向。之后，將在一個有著大量發型圖片的數據庫中進行檢索，檢索出形狀以及發絲方向與編輯圖像都十分匹配的圖像，進而對檢索到的圖片進行細節處理。然后將篩選到的圖片的二維方向圖、置信圖等作為輸入信息傳入改進的Hair-GAN框架中。改進的Hair-GAN框架將輸入的二維信息轉換為相應的三維方向體素場，在三維方向體素場的引導及約束中生成三維發型。

發明內容

本發明的目的在于提供一種可由用戶自由設計、可編輯的三維發型生成方法，減少制作三維模型的人力消耗。本發明在提高三維發型生成的真實性的前提下，提高其交互性、靈活性以及實用性，使用戶能夠創建出與真實世界輸入相似的、滿足用戶審美需求的、任用戶自由編輯設計的三維發型。

本發明具體實現如下所示：

（1）通過一個圖像編輯界面，用戶設計出自己想要的發型形狀、發絲方向；

（2）將一個有著大量發型圖片的數據庫進行處理，并在該數據庫中檢索與編輯發型相似的發型圖片作為候選樣本；

（3）將（2）檢索出的候選樣本進行細節修改；

（4）根據VAE-GAN框架的結構改進Hair-GAN框架，提高其生成效率與精確度；

（5）將修改后的發型圖片生成相應的二維方向信息、置信圖以及深度圖作為輸入信息，輸入到改進的Hair-GAN中，由改進的Hair-GAN生成該發型相應的三維方向體素場；

（6）在（5）生成的三維方向體素場的約束下與引導下生成三維發絲，進而完成三維發型的生成。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實例一起用于解釋本發明，并不構成對本發明的限制：