[發明專利]紋理生成模型的訓練方法、圖像處理方法及裝置

在審

• 申請號: 202110146575.4
• 申請日: 2021-02-02
• 公開（公告）號: CN112802075A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 姚光明;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06T7/41
• 分類號: G06T7/41;G06T7/529;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種紋理生成模型的訓練方法，其特征在于，包括：

獲取預渲染得到的訓練圖像；

將所述訓練圖像輸入至紋理生成模型，通過所述紋理生成模型針對所述訓練圖像輸出第一光照參數和第一紋理集；

基于所述第一光照參數、所述第一紋理集和預設的聯合損失函數計算聯合損失值；

利用所述聯合損失值對所述紋理生成模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述紋理生成模型包括光照估計網絡和紋理預測網絡；

所述通過所述紋理生成模型針對所述訓練圖像輸出第一光照參數和第一紋理集的步驟，包括：

通過所述光照估計網絡估計所述訓練圖像的第一光照參數，以及通過所述紋理預測網絡生成所述訓練圖像的第一紋理集。

3.根據權利要求2所述的方法，其特征在于，所述光照估計網絡包括下采樣卷積層和多層感知層；

所述通過所述光照估計網絡估計所述訓練圖像的第一光照參數的步驟，包括：

通過所述下采樣卷積層提取所述訓練圖像的光照特征；

通過所述多層感知層根據所述光照特征輸出所述訓練圖像的第一光照參數；其中，所述第一光照參數包括環境參數、散射參數、光照強度中的一種或多種。

4.根據權利要求2所述的方法，其特征在于，所述紋理預測網絡包括特征提取模塊、特征補全模塊和紋理解碼模塊；

所述通過所述紋理預測網絡生成所述訓練圖像的第一紋理集的步驟，包括：

通過所述特征提取模塊提取所述訓練圖像的可見面片特征和第一不可見面片特征；

通過所述特征補全模塊基于所述可見面片特征對所述第一不可見面片特征進行補全，得到第二不可見面片特征；

通過所述紋理解碼模塊分別對所述可見面片特征和所述第二不可見面片特征進行解碼，得到所述訓練圖像的第一紋理集。

5.根據權利要求4所述的方法，其特征在于，所述通過所述特征提取模塊提取所述訓練圖像的可見面片特征和第一不可見面片特征的步驟，包括：

通過所述特征提取模塊內的特征編碼器對所述訓練圖像進行特征提取，得到所述訓練圖像對應的特征圖；

基于所述訓練圖像中各個像素的深度值對所述特征圖進行采樣，得到可見頂點特征和不可見頂點特征；

對屬于同一面片的可見頂點特征和/或不可見頂點特征進行平均處理，得到所述訓練圖像的可見面片特征和第一不可見面片特征；其中，如果所述面片包含一個或多個不可見頂點，確定所述面片對應的特征為第一不可見面片特征；如果所述面片不包含所述不可見頂點，確定所述面片對應的特征為可見面片特征。

6.根據權利要求5所述的方法，其特征在于，所述基于所述訓練圖像中各個像素的深度值對所述特征圖進行采樣，得到可見頂點特征和不可見頂點特征的步驟，包括：

判斷所述訓練圖像中各個像素的深度值是否小于預設深度緩沖值；

如果是，確定所述像素為可見頂點；如果否，確定所述像素為不可見頂點；

利用雙線性插值基于所述可見頂點和所述不可見頂點在所述特征圖上進行采樣，分別得到可見頂點特征和不可見頂點特征。

7.根據權利要求4所述的方法，其特征在于，所述特征補全模塊包括圖編碼器和圖解碼器；

所述通過所述特征補全模塊基于所述可見面片特征對所述第一不可見面片特征進行補全，得到第二不可見面片特征的步驟，包括：

通過所述圖編碼器基于所述可見面片特征和所述訓練圖像對應的幾何模型的幾何信息，對所述第一不可見面片特征進行卷積操作和下采樣操作；其中，所述圖編碼器包括多個第一圖卷積層和多個圖下采樣層；

通過所述圖解碼器基于所述可見面片特征和所述幾何信息，對所述圖編碼器輸出的特征進行卷積操作和上采樣操作，得到第二不可見面片特征；其中，所述圖解碼器包括多個第二圖卷積層和多個圖上采樣層。