[發明專利]圖像遷移方法和圖像遷移模型的訓練方法、裝置

有效

• 申請號: 202111502659.3
• 申請日: 2021-12-09
• 公開（公告）號: CN114140320B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 梁柏榮;郭知智;洪智濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/00;G06T7/12;G06V10/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂朝蕙

本公開提供了一種圖像遷移方法和圖像遷移模型的訓練方法、裝置、設備、介質，涉及人工智能領域，具體涉及深度學習和計算機視覺技術領域，可應用于人臉圖像處理、人臉識別等場景。圖像遷移方法包括：根據第一對象的目標部位在第一圖像中的第一位置信息和第一圖像，分別提取第一對象的第一屬性特征和目標部位的第一形狀特征；提取第二圖像包括的第二對象的第一身份特征；以及基于第一屬性特征、第一形狀特征和第一身份特征生成第一遷移圖像，該第一遷移圖像包括具有第一屬性特征和第一形狀特征的第二對象。

技術領域

本公開涉及人工智能領域，具體涉及深度學習和計算機視覺技術領域，可應用于人臉圖像處理、人臉識別等場景。

背景技術

隨著深度學習與圖像處理技術的發展，圖像遷移技術可以應用于諸如人臉識別、視頻制作和虛擬現實等多個領域中。

相關技術中，采用三維重建技術來實現圖像遷移。該方法步驟復雜，計算量大。

發明內容

提供了一種降低計算量且提高遷移精度的圖像遷移方法、圖像遷移模型的訓練方法、裝置、電子設備和存儲介質。

本公開的一個方面提供了一種圖像遷移方法，包括：根據第一對象的目標部位在第一圖像中的第一位置信息和第一圖像，分別提取第一對象的第一屬性特征和目標部位的第一形狀特征；提取第二圖像包括的第二對象的第一身份特征；以及基于第一屬性特征、第一形狀特征和第一身份特征生成第一遷移圖像，第一遷移圖像包括具有第一屬性特征和第一形狀特征的第二對象。

本公開的另一個方面提供了一種圖像遷移模型的訓練方法，其中，圖像遷移模型包括第一編碼網絡、第二編碼網絡和生成網絡；該訓練方法包括：根據第三對象的目標部位在第三圖像中的第五位置信息和第三圖像，采用第一編碼網絡提取第三對象的第二屬性特征和目標部位的第二形狀特征；采用第二編碼網絡提取第四圖像包括的第三對象的第二身份特征；基于第二屬性特征、第二形狀特征和第二身份特征，采用生成網絡生成第二遷移圖像；第二遷移圖像包括具有第二屬性特征和第二形狀特征的第三對象；以及基于第二遷移圖像和第三圖像的差異，對圖像遷移模型進行訓練。

本公開的另一個方面提供了一種圖像遷移裝置，包括：第一特征提取模塊，用于根據第一對象的目標部位在第一圖像中的第一位置信息和第一圖像，分別提取第一對象的第一屬性特征和目標部位的第一形狀特征；第一身份提取模塊，用于提取第二圖像包括的第二對象的第一身份特征；以及第一圖像生成模塊，用于基于第一屬性特征、第一形狀特征和第一身份特征生成第一遷移圖像，第一遷移圖像包括具有第一屬性特征和第一形狀特征的第二對象。

本公開的另一個方面提供了一種圖像遷移模型的訓練裝置，其中，圖像遷移模型包括第一編碼網絡、第二編碼網絡和生成網絡；該裝置包括：第二特征提取模塊，用于根據第三對象的目標部位在第三圖像中的第五位置信息和第三圖像，采用第一編碼網絡提取第三對象的第二屬性特征和目標部位的第二形狀特征；第二身份提取模塊，用于采用第二編碼網絡提取第四圖像包括的第三對象的第二身份特征；第二圖像生成模塊，用于基于第二屬性特征、第二形狀特征和第二身份特征，采用生成網絡生成第二遷移圖像；第二遷移圖像包括具有第二屬性特征和第二形狀特征的第三對象；以及模型訓練模塊，用于基于第二遷移圖像和第三圖像的差異，對圖像遷移模型進行訓練。

本公開的另一個方面提供了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行本公開提供的圖像遷移方法和/或圖像遷移模型的訓練方法。

根據本公開的另一個方面提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，計算機指令用于使計算機執行本公開提供的圖像遷移方法和/或圖像遷移模型的訓練方法。

根據本公開的另一個方面提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現本公開提供的圖像遷移方法和/或圖像遷移模型的訓練方法。