[發明專利]圖像間臉部交換的方法、裝置、系統和計算機程序產品

有效

• 申請號: 201810697069.2
• 申請日: 2018-06-29
• 公開（公告）號: CN110660037B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 陳冠男
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06V10/82;G06V40/16;G06N3/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李舒;陳嵐

公開了在圖像之間實現臉部交換的方法和裝置的實施例。該方法包括：提取第一圖像中的臉部內容圖像和第二圖像中的臉部風格圖像；經由深度卷積神經網絡從所述臉部內容圖像得到原始內容特征和從所述臉部風格圖像得到原始風格特征，其中與所述原始風格特征相比，所述原始內容特征從所述深度卷積神經網絡的較高卷積層得到；基于預定義的損失函數，根據所述原始內容特征和原始風格特征，從初始的臉部風格遷移圖像開始來迭代地優化，且在執行所述迭代優化預定次數后，輸出經優化的臉部風格遷移圖像；以及通過用臉部風格遷移圖像與第二圖像進行融合，以生成包含經風格遷移的臉部的第三圖像。通過對臉部區域進行風格遷移，使得所生成的經臉部交換的圖像給用戶以更為自然、和諧的感受，因而改善了用戶體驗。

技術領域

本公開總地涉及圖像處理，更具體而言，涉及一種用于實現圖像之間的臉部交換的方法、裝置、系統和計算機程序產品。

背景技術

臉部特征識別技術在本世紀初得到了全世界的廣泛關注。在安全和娛樂領域，該技術獲得了巨大的發展空間。越來越多的公司和研究機構（如谷歌、科大訊飛、騰訊等）投入大量資源對該技術進行深入研究，且開發的產品也多種多樣。臉部交換是臉部特征識別技術的一種應用，國內外關于臉部交換的應用產品目前已經可以實現真實照片之間的臉部交換。

由于這些臉部交換的應用產品大多聚焦于圖像中臉部位置的臉部特征交換，所以當涉及交換的兩幅圖像之間存在風格差異時，實現臉部交換后所生成的圖像給人以拼接過渡生硬、拼接痕跡明顯、畫風違和的感覺。這使得用戶的使用體驗較差。

發明內容

本公開提供用于在圖像之間實現臉部交換的方法和裝置、系統、計算機程序產品。

根據本公開的一方面，提供了一種用于在圖像之間實現臉部交換的方法，包括以下步驟：提取第一圖像中的臉部內容圖像和第二圖像中的臉部風格圖像；經由深度卷積神經網絡從所述臉部內容圖像得到原始內容特征和從所述臉部風格圖像得到原始風格特征，其中與所述原始風格特征相比，所述原始內容特征從所述深度卷積神經網絡的較高卷積層得到；基于預定義的損失函數，根據所述原始內容特征和原始風格特征，從初始的臉部風格遷移圖像開始來迭代地優化，且在執行所述迭代優化預定次數后，輸出經優化的臉部風格遷移圖像；以及通過用臉部風格遷移圖像與第二圖像進行融合，以生成包含經風格遷移的臉部的第三圖像。

可選地，深度卷積神經網絡的卷積層的數量為8個。

可選地，該方法包括從深度卷積神經網絡的第7卷積層得到所述內容特征，而從其第1、3、5卷積層得到所述風格特征。

可選地，預定義的損失函數包括用于計算內容損失的內容損失函數和用于計算風格損失的風格損失函數，且所述內容損失和風格損失被分別用于優化所述臉部風格遷移圖像。

可選地，該方法包括計算所述內容損失和風格損失的加權和作為總的損失，當所述總的損失達到某一閾值時，輸出經優化的臉部風格遷移圖像。

可選地，將VGG19模型的預訓練參數作為所述深度卷積神經網絡的初始預訓練參數。

可選地，所述預定次數是100次。

可選地，所述迭代地優化包括：使用深度卷積神經網絡得到臉部風格遷移圖像的內容特征和風格特征；基于所述預定義的損失函數計算臉部風格遷移圖像的內容特征和風格特征相對于原始內容特征和原始風格特征的內容損失和風格損失；根據計算的內容損失和風格損失的加權和來優化臉部風格遷移圖像以得到經修改的臉部風格遷移圖像；以及將經修改的臉部風格遷移圖像作為迭代變量用于下一次迭代中。

可選地，該方法還包括：以肖像畫作為參考對所得到的臉部風格遷移圖像進行旋轉、縮放和平移，以實現臉部對齊。

可選地，其中用臉部風格遷移圖像與第二圖像進行融合之前還包括：以第二圖像作為參考對所得到的臉部風格遷移圖像進行旋轉、縮放和平移，以實現臉部對齊。