[發明專利]一種用于三維場景的古畫風格遷移方法

在審

• 申請號: 202210036936.4
• 申請日: 2022-01-13
• 公開（公告）號: CN114493994A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 王孟和;沈婕;張天純;洪帥;唐龍;邱申鵬
• 申請（專利權）人: 南京市測繪勘察研究院股份有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T17/00
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 牛婧

1.一種用于三維場景的古畫風格遷移方法，其特征在于，包括如下步驟：

(1)收集古畫圖片和內容圖片，分別構成古畫圖片集和內容圖片集，所述內容圖片為多視角三維場景圖；

(2)分別將步驟(1)收集的古畫圖片和內容圖片輸入VGG-19神經網絡模型中進行處理，得到對應的風格特征和內容特征；

(3)使用VGG-19神經網絡模型的濾波器函數對步驟(2)得到的風格特征和內容特征進行編碼，得到風格特征與內容特征的特征映射，并且通過VGG-19神經網絡模型的自適應規范層對得到的特征映射進行歸一化處理，獲取噪聲圖片特征圖；

(4)將步驟(3)獲取的噪聲圖片特征圖與步驟(1)中收集的古畫圖片進行對比分析，構建風格損失函數L_style；將步驟(3)獲取的噪聲圖片特征圖與步驟(1)中收集的內容圖片進行對比分析，構建內容損失函數L_content，以風格損失函數L_style和內容損失函數L_content構建總損失函數L_total＝αL_content+βL_style，其中，α表示內容損失函數的權重參數，β表示風格損失函數的權重參數；

(5)重復步驟(2)-(4)，直至總損失函數收斂，完成對VGG-19神經網絡模型的訓練；

(6)再次將古畫圖片和內容圖片輸入訓練好的VGG-19神經網絡模型中，通過VGG-19神經網絡模型的解碼器輸出生成圖像，所述生成圖像包含對應于待風格遷移的三維場景模型的內容；

(7)使用OpenCV圖像分割算法grabCut對生成的圖像中待風格遷移的三維場景模型的內容進行語義分割，通過Shader著色器技術生成UV古畫中的色彩紋理，并通過Shader計算待風格遷移的三維場景模型的頂點紋理，定義三維場景模型各位置的材質屬性信息，在Unity3D中將古畫中的色彩紋理進行可視化遷移。

2.根據權利要求1所述用于三維場景的古畫風格遷移方法，其特征在于，步驟(2)的具體過程為：在VGG-19神經網絡模型的原始CNN表征之上，新建一個特征空間，使用建立的特征空間去捕獲輸入的古畫圖片的風格特征；提取古畫圖片的圖像特征與內容，再使用VGG-19神經網絡模型中的深層網絡獲取內容圖片的高層特征，提取出內容特征。

3.根據權利要求1所述用于三維場景的古畫風格遷移方法，其特征在于，步驟(3)包括如下子步驟：

(3.1)在VGG-19神經網絡模型的19層卷積網絡中均使用濾波器函數對得到的風格特征和內容特征進行編碼，分別得到風格特征映射與內容特征映射；

(3.2)通過VGG-19神經網絡模型的自適應規范層對得到的特征映射進行歸一化處理，將古畫圖片的方差和均值分別替代偏移量和縮放系數，使得內容圖片特征的均值和方差與古畫圖片特征保持一致，產生特征映射獲取噪聲圖片特征圖；

其中，x表示內容圖片，y表示古畫圖片，μ(x)表示內容圖片的均值，σ(x)表示內容圖片的方差，μ(y)表示古畫圖片的均值，σ(y)表示古畫圖片的方差。

4.根據權利要求1所述用于三維場景的古畫風格遷移方法，其特征在于，步驟(4)中構建的風格損失函數L_style為：

其中，l表示VGG-19神經網絡模型中的第l卷積網絡，w_l表示第l層卷積網絡的權重，E_l表示第l層卷積網絡的風格損失。

5.根據權利要求4所述用于三維場景的古畫風格遷移方法，其特征在于，所述第l層卷積網絡的風格損失E_l為：

其中，表示第l卷積網絡第i個卷積第j個位置的噪音圖像特征的Gram矩陣，表示第l卷積網絡第i個卷積第j個位置的古畫圖片特征的Gram矩陣，M_l表示第l卷積網絡中Gram矩陣的長與寬的積，N_l表示特征矩陣的信道數。

6.根據權利要求1所述用于三維場景的古畫風格遷移方法，其特征在于，步驟(4)中構建的內容損失函數L_content為：

其中，表示噪聲圖片在第l層第i個卷積的第j個位置的特征，表示內容圖片在第l層第i個卷積的第j個位置的特征。