[發明專利]身份遷移模型構建方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202111148719.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113592982B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 余海銘
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

本發明實施例提供了一種身份遷移模型構建方法、裝置、電子設備及可讀存儲介質。該方法包括：獲得多個樣本源圖像及其各自對應的樣本目標圖像；對多個樣本源圖像分別進行特征提取，得到多個樣本源圖像各自的身份特征；將多個樣本源圖像各自的身份特征以及其各自對應的樣本目標圖像輸入生成式對抗網絡中的生成器，并對生成式對抗網絡進行訓練，直至生成器生成滿足預設條件的合成圖像時，結束訓練；生成器的每一神經網絡層的通道數為同一數值；將訓練結束時的生成器確定為身份遷移模型。通過本發明實施例的方法，構建的身份遷移模型可在小型移動設備以實時速度運行，利用小型移動設備的計算資源即可實現身份遷移操作。

技術領域

本發明實施例涉及圖像處理技術領域，特別是涉及一種圖像處理的身份遷移模型構建方法、裝置、電子設備及可讀存儲介質。

背景技術

在當前快節奏生活的影響下，短視頻與直播內容的量越來越多，對于娛樂性的要求越來越高，例如對視頻或圖像進行身份遷移（如換臉、換發型、換裝等）的需求也愈來愈多。現階段的身份遷移模型均為大尺寸模型，需要大量存儲、內存和計算資源的支持才能實現身份遷移算法，這就導致這些身份遷移算法只能在高性能的個人電腦或服務器上使用，無法滿足在手機等小型移動設備上運行的需求。

發明內容

本發明實施例的目的在于提供一種身份遷移模型構建方法、裝置、電子設備及可讀存儲介質，以實現身份遷移模型可以在手機等小型移動設備以實時速度運行，利用手機等小型移動設備的計算資源即可實現身份遷移操作。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種身份遷移模型構建方法，所述方法包括：

獲得多個樣本源圖像及其各自對應的樣本目標圖像；

對所述多個樣本源圖像分別進行特征提取，得到所述多個樣本源圖像各自的身份特征；

將所述多個樣本源圖像各自的身份特征以及所述多個樣本源圖像各自對應的樣本目標圖像輸入生成式對抗網絡中的生成器，并對所述生成式對抗網絡進行訓練，直至所述生成器生成滿足預設條件的合成圖像時，結束訓練；其中，所述合成圖像為所述生成器將所述樣本源圖像的身份特征遷移到其對應的樣本目標圖像而生成的圖像，所述生成式對抗網絡中生成器的每一神經網絡層的通道數為同一數值；

將訓練結束時的生成器確定為身份遷移模型。

可選的，所述生成器包括遷移模塊，所述遷移模塊用于基于圖像藝術風格遷移算法，對所述樣本源圖像的身份特征進行處理，實現將所述樣本源圖像的身份特征遷移到其對應的樣本目標圖像上，進而生成所述合成圖像。

可選的，在所述生成式對抗網絡的訓練過程中，通過損失函數確定生成器輸出的合成圖像對應的損失函數值，根據所述損失函數值對所述生成式對抗網絡的模型參數進行更新；其中，所述損失函數至少包括：對抗損失函數，身份保持損失函數以及屬性保持損失函數；

所述對抗損失函數用于利用所述判別器迫使所述合成圖像更真實；

所述身份保持損失函數用于迫使所述合成圖像的身份特征與其所對應的樣本源圖像的身份特征接近；

所述屬性保持損失函數用于迫使所述合成圖像的屬性特征與其所對應的樣本目標圖像的屬性特征接近，所述屬性特征為除所述身份特征外的圖像特征。

可選的，當所述樣本源圖像與其所對應的樣本目標圖像為相同圖像特征的兩張圖像時，所述損失函數還包括重建損失函數，所述重建損失函數用于迫使所述合成圖像與所述樣本目標圖像一致。

可選的，所述生成器輸出多種不同分辨率的合成圖像，所述通過損失函數確定生成器輸出的合成圖像對應的損失函數值，根據所述損失函數值對所述生成式對抗網絡的模型參數進行更新，包括：