[發明專利]圖像處理模型的訓練方法、圖像處理方法、裝置及介質

在審

• 申請號: 202210304129.6
• 申請日: 2022-03-25
• 公開（公告）號: CN114549728A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王迪;趙晨;楊少雄
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06N3/04;G06N3/08
• 代理公司: 北京易光知識產權代理有限公司 11596
• 代理人: 徐升升;閻敏

本公開提供了一種圖像處理模型的訓練方法、圖像處理方法、裝置及介質。涉及計算機技術領域，具體涉及計算機視覺、深度學習、增強現實等人工智能技術領域。具體實現方案為：將樣本面部圖輸入第一圖像處理模型，獲取樣本面部圖的紋理系數；基于紋理系數和紋理基底生成初始紋理圖；將從樣本面部圖提取的目標區域圖輸入第二圖像處理模型，獲取樣本面部圖的目標對象偏移特征圖；基于初始紋理圖和目標對象偏移特征圖，得到最終紋理圖；基于最終紋理圖生成樣本面部圖的渲染圖；基于渲染圖和標簽渲染圖構建損失函數；基于損失函數分別對第一圖像處理模型和第二圖像處理模型的參數進行調整。根據本公開的技術方案，能提升重建結果與原始面部的相似度。

技術領域

本公開涉及計算機技術領域，具體涉及計算機視覺、深度學習、增強現實等人工智能技術領域。

背景技術

隨著計算機視覺、計算機技術等相關領域的飛速發展，面部三維重建技術也在不斷更新。面部三維重建中除了對面部形狀進行重建，還需要生成對應的面部紋理圖，而如何提升重建結果與原始面部的相似度是亟待研究和改進的課題。

發明內容

本公開提供了一種圖像處理模型的訓練方法、圖像處理方法、裝置及介質。

根據本公開的第一方面，提供了一種圖像處理模型的訓練方法，包括：

將樣本面部圖輸入第一圖像處理模型，獲取第一圖像處理模型輸出的樣本面部圖的紋理系數；

基于紋理系數和紋理基底生成樣本面部圖的初始紋理圖；

將從樣本面部圖提取的目標區域圖輸入第二圖像處理模型，獲取第二圖像處理模型輸出的樣本面部圖的目標對象偏移特征圖；

基于初始紋理圖和目標對象偏移特征圖，得到最終紋理圖；

基于最終紋理圖生成樣本面部圖的渲染圖；

基于渲染圖和樣本面部圖的標簽渲染圖構建損失函數；

基于損失函數分別對第一圖像處理模型和第二圖像處理模型的參數進行調整。

根據本公開的第二方面，提供了一種圖像處理方法，包括：

將待處理面部圖輸入第一圖像處理模型，獲取第一圖像處理模型輸出的待處理面部圖的紋理系數；

基于紋理系數和紋理基底生成待處理面部圖的初始紋理圖；

將從待處理面部圖提取的目標區域圖輸入第二圖像處理模型，獲取第二圖像處理模型輸出的待處理面部圖的目標對象偏移特征圖；

基于初始紋理圖和目標對象偏移特征圖，得到最終紋理圖；

其中，第一圖像處理模型和第二圖像處理模型采用根據第一方面提供的圖像處理模型的訓練方法得到。

根據本公開的第三方面，提供了一種模型訓練裝置，包括：

第一獲取模塊，用于將樣本面部圖輸入第一圖像處理模型，獲取第一圖像處理模型輸出的樣本面部圖的紋理系數；

第一生成模塊，用于基于紋理系數和紋理基底生成樣本面部圖的初始紋理圖；

第二獲取模塊，用于將從樣本面部圖提取的目標區域圖輸入第二圖像處理模型，獲取第二圖像處理模型輸出的樣本面部圖的目標對象偏移特征圖；

第二生成模塊，用于基于初始紋理圖和目標對象偏移特征圖，得到最終紋理圖；

第三生成模塊，用于基于最終紋理圖生成樣本面部圖的渲染圖；

構建模塊，用于基于渲染圖和樣本面部圖的標簽渲染圖構建損失函數；

訓練模塊，用于基于損失函數分別對第一圖像處理模型和第二圖像處理模型的參數進行調整。