[發明專利]一種基于示例的三維紋理過程生成模型優化方法

在審

• 申請號: 202210176364.X
• 申請日: 2022-02-25
• 公開（公告）號: CN114708379A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 官莊;任重
• 申請（專利權）人: 浙江大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/04;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于示例的三維紋理過程生成模型優化方法，其特征在于，包括以下步驟：

步驟一：以節點圖形式輸入基于程序規則的紋理過程生成模型，將該模型輸出的三維目標紋理與預先準備的場景數據結合，經過可微渲染得到表示物體外觀的圖像；

步驟二：將步驟一得到的外觀圖像和示例圖像一起輸入風格損失函數中，并基于該損失函數值對生成模型中的參數進行數值優化；

步驟三：在步驟二中的風格損失函數中加入空間標簽，降低渲染過程帶來的二義性對優化效果的干擾。

2.根據權利要求1所述的外觀圖像計算方法，其特征在于，所述步驟一具體為：

(1.1)使用節點圖來描述三維紋理的過程生成模型，并用代碼生成技術對三維紋理節點圖進行求值和微分；

(1.2)用蒙特卡洛方法追蹤場景中的光線傳輸路徑，從而將生成的紋理渲染為圖像；對場景中的每條光線路徑，不斷在單位球面上隨機采樣散射方向，以攝像機為起點，連續基于當前散射點位置用光線追蹤求出下一個散射點，在此過程中累積每個散射點處光源對該傳輸路徑攜帶的輻射亮度產生的貢獻；

(1.3)利用反向求導方法計算(1.2)中渲染的圖像對紋理的導數；對每一條從攝像機出發的光線路徑，先遍歷一次該路徑，記錄每個頂點處的系數，遍歷完成后利用這些系數計算每個頂點處來自下一個頂點的輻射亮度估計量；然后再次遍歷該路徑，將之前計算的輻射亮度代入鏈式求導法則，累積起來得到渲染圖像對紋理的導數。

3.根據權利要求1所述的損失函數計算方法，其特征在于，所述步驟二通過以下子步驟來實現：

(2.1)將外觀圖像和示例圖像分別輸入用于計算機視覺任務的卷積神經網絡中，提取其中的關鍵特征層；

(2.2)對外觀圖像和示例圖像在某個特征層分別對應的兩個特征圖，將它們所有特征像素的空間位置信息抹去，形成兩個包含M個N維向量的特征樣本列表，其中N是特征圖像素數，N是特征像素通道數；

(2.3)在N維空間中隨機選取一定數量的方向向量；對每個方向向量，計算(2.2)的兩個列表中的每個特征樣本在該方向向量上的投影長度，得到兩個長度為M的投影向量；

(2.4)將兩個投影向量的元素各自從小到大排序；

(2.5)計算兩個投影向量間的歐氏距離，除以總方向向量數后累加到最終的損失函數值上。

4.根據權利要求1所述的空間標簽，其特征在于，所述步驟三通過以下子步驟來實現：

(3.1)將場景數據中的目標紋理替換為常值紋理，使用可微渲染將場景轉換為外觀圖像，計算外觀圖像和示例圖像間的平方和差異；

(3.2)基于(3.1)中計算的差異對紋理值的梯度對紋理進行梯度下降優化，將優化至收斂的常值紋理對應的外觀圖像作為空間標簽；

(3.3)對(2.1)中獲得的所有分辨率與空間標簽相同的特征圖，將空間標簽作為額外的特征通道附加在原有的特征通道之后；

(3.4)對(2.3)中隨機選取的每個方向向量(v₁,v₂,…,v_N)，將其替換為D個方向向量{(v₁,…,v_N,0,…,α_m,…,0)|m＝1,…,D},其中D是(3.2)中生成的空間標簽的通道數。