[發明專利]一種用于三維場景的古畫風格遷移方法

在審

• 申請號: 202210036936.4
• 申請日: 2022-01-13
• 公開（公告）號: CN114493994A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 王孟和;沈婕;張天純;洪帥;唐龍;邱申鵬
• 申請（專利權）人: 南京市測繪勘察研究院股份有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T17/00
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 牛婧

本發明公開一種用于三維場景的古畫風格遷移方法，使用古畫圖片和內容圖片訓練VGG?19神經網絡模型，再將古畫圖片和內容圖片輸入訓練好的VGG?19神經網絡模型中，輸出生成圖像，使用OpenCV圖像分割算法grabCut對生成的圖像中待風格遷移的三維場景模型的內容進行語義分割，通過Shader著色器技術生成UV古畫中的色彩紋理，并通過Shader計算待風格遷移的三維場景模型的頂點紋理，定義三維場景模型各位置的材質屬性信息，在Unity3D中將古畫中的色彩紋理進行可視化遷移。本發明古畫風格遷移方法解決了現有文化遺產三維場景風格過于現代的問題，為文化遺產三維場景古風快速可視化提供了解決思路。

技術領域

本發明屬于圖像風格遷移技術領域，具體地說，涉及一種用于三維場景的古畫風格遷移方法。

背景技術

現有的3D建模技術越來越成熟，文化遺產的三維場景模擬不僅可以再現目標建筑物的真實外觀，還可以可視化目標文化遺產建筑所在的地形、地貌和其他自然地理環境要素。然而現有的場景構建方法缺乏歷史文化特征的可視化，導致構建的文化遺產三維場景在建筑風格上過于現代，無法向用戶展示其歷史狀況。除了這些文化遺產建筑之外，同一時期還誕生了許多著名的畫作，他們表達了文化遺產建筑在其歷史時期的自然景觀、建筑特征和民俗，具有重要的歷史文化價值。

因此，通過學習和借鑒古代名畫的歷史文化特征要素，將其歷史文化風格遷移到三維虛擬場景中，以期提升其歷史文化內涵。所謂的風格遷移，即將某一張圖像的筆觸、顏色等風格遷移至另外一張圖像上，實現某一類風格圖的生成。目前風格遷移在二維圖像中的應用較為廣泛，而在三維場景及其模型中的研究和應用較少。

發明內容

針對現有技術中存在的問題，本發明提供了一種用于三維場景的古畫風格遷移方法，對三維場景及其模型的風格遷移進行探索試驗，能夠在三維場景中拓展、增加風格遷移。

為實現上述技術目的，本發明所采用的技術方案是：一種用于三維場景的古畫風格遷移方法，包括如下步驟：

(1)收集古畫圖片和內容圖片，分別構成古畫圖片集和內容圖片集，所述內容圖片為多視角三維場景圖；

(2)分別將步驟(1)收集的古畫圖片和內容圖片輸入VGG-19神經網絡模型中進行處理，得到對應的風格特征和內容特征；

(3)使用VGG-19神經網絡模型的濾波器函數對步驟(2)得到的風格特征和內容特征進行編碼，得到風格特征與內容特征的特征映射，并且通過VGG-19神經網絡模型的自適應規范層對得到的特征映射進行歸一化處理，獲取噪聲圖片特征圖；

(4)將步驟(3)獲取的噪聲圖片特征圖與步驟(1)中收集的古畫圖片進行對比分析，構建風格損失函數L_style；將步驟(3)獲取的噪聲圖片特征圖與步驟(1)中收集的內容圖片進行對比分析，構建內容損失函數L_content，以風格損失函數L_style和內容損失函數L_content構建總損失函數L_total＝αL_content+βL_style，其中，α表示內容損失函數的權重參數，β表示風格損失函數的權重參數；

(5)重復步驟(2)-(4)，直至總損失函數收斂，完成對VGG-19神經網絡模型的訓練；

(6)再次將古畫圖片和內容圖片輸入訓練好的VGG-19神經網絡模型中，通過VGG-19神經網絡模型的解碼器輸出生成圖像，所述生成圖像包含對應于待風格遷移的三維場景模型的內容；

(7)使用OpenCV圖像分割算法grabCut對生成的圖像中待風格遷移的三維場景模型的內容進行語義分割，通過Shader著色器技術生成UV古畫中的色彩紋理，并通過Shader計算待風格遷移的三維場景模型的頂點紋理，定義三維場景模型各位置的材質屬性信息，在Unity3D中將古畫中的色彩紋理進行可視化遷移。