[發明專利]紋理生成模型的訓練方法、圖像處理方法及裝置

在審

• 申請號: 202110146575.4
• 申請日: 2021-02-02
• 公開（公告）號: CN112802075A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 姚光明;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06T7/41
• 分類號: G06T7/41;G06T7/529;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本發明提供了一種紋理生成模型的訓練方法、圖像處理方法及裝置，涉及圖片生成技術領域，包括：獲取預渲染得到的訓練圖像；將訓練圖像輸入至紋理生成模型，通過紋理生成模型針對訓練圖像輸出第一光照參數和第一紋理集；基于第一光照參數、第一紋理集和預設的聯合損失函數計算聯合損失值；利用聯合損失值對紋理生成模型進行訓練。本發明可以生成質量較高的紋理，同時顯著降低光照對紋理的影響。

技術領域

本發明涉及圖像生成技術領域，尤其是涉及一種紋理生成模型的訓練方法、圖像處理方法及裝置。

背景技術

紋理生成是一種圖片生成技術，該技術可以根據輸入的圖片生成相應的紋理貼圖，例如可以根據輸入的人體圖像生成人體模型的紋理貼圖，從而為重建的人體模型(Mesh)添加紋理貼圖。目前，相關技術中提出可以利用卷積神經網絡提取輸入圖像的圖像特征，并從圖像特征中對每個頂點進行采樣得到每個頂點的顏色特征，然后將每個頂點的顏色特征送入MLP(Multi-Layer Perceptron，多層感知器)中得到最終預測的頂點顏色，從而基于頂點顏色所表征的紋理進行渲染，然而采用這種方式生成的紋理往往會導致渲染得到的表面過于平滑，紋理質量較差，且由于該方法生成的紋理受光照影響，所以將導致生成的紋理帶有陰影。

發明內容

有鑒于此，本發明的目的在于提供一種紋理生成模型的訓練方法、圖像處理方法及裝置，訓練得到的紋理生成模型可以生成質量較高的紋理，同時顯著降低光照對紋理的影響。

第一方面，本發明實施例提供了一種紋理生成模型的訓練方法，包括：獲取預渲染得到的訓練圖像；將所述訓練圖像輸入至紋理生成模型，通過所述紋理生成模型針對所述訓練圖像輸出第一光照參數和第一紋理集；基于所述第一光照參數、所述第一紋理集和預設的聯合損失函數計算聯合損失值；利用所述聯合損失值對所述紋理生成模型進行訓練。

在一種實施方式中，所述紋理生成模型包括光照估計網絡和紋理預測網絡；所述通過所述紋理生成模型針對所述訓練圖像輸出第一光照參數和第一紋理集的步驟，包括：通過所述光照估計網絡估計所述訓練圖像的第一光照參數，以及通過所述紋理預測網絡生成所述訓練圖像的第一紋理集。

在一種實施方式中，所述光照估計網絡包括下采樣卷積層和多層感知層；所述通過所述光照估計網絡估計所述訓練圖像的第一光照參數的步驟，包括：通過所述下采樣卷積層提取所述訓練圖像的光照特征；通過所述多層感知層根據所述光照特征輸出所述訓練圖像的第一光照參數；其中，所述第一光照參數包括環境參數、散射參數、光照強度中的一種或多種。

在一種實施方式中，所述紋理預測網絡包括特征提取模塊、特征補全模塊和紋理解碼模塊；所述通過所述紋理預測網絡生成所述訓練圖像的第一紋理集的步驟，包括：通過所述特征提取模塊提取所述訓練圖像的可見面片特征和第一不可見面片特征；通過所述特征補全模塊基于所述可見面片特征對所述第一不可見面片特征進行補全，得到第二不可見面片特征；通過所述紋理解碼模塊分別對所述可見面片特征和所述第二不可見面片特征進行解碼，得到所述訓練圖像的第一紋理集。

在一種實施方式中，所述通過所述特征提取模塊提取所述訓練圖像的可見面片特征和第一不可見面片特征的步驟，包括：通過所述特征提取模塊內的特征編碼器對所述訓練圖像進行特征提取，得到所述訓練圖像對應的特征圖；基于所述訓練圖像中各個像素的深度值對所述特征圖進行采樣，得到可見頂點特征和不可見頂點特征；對屬于同一面片的可見頂點特征和/或不可見頂點特征進行平均處理，得到所述訓練圖像的可見面片特征和第一不可見面片特征；其中，如果所述面片包含一個或多個不可見頂點，確定所述面片對應的特征為第一不可見面片特征；如果所述面片不包含所述不可見頂點，確定所述面片對應的特征為可見面片特征。