[發(fā)明專利]圖像間臉部交換的方法、裝置、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 201810697069.2
• 申請(qǐng)日: 2018-06-29
• 公開（公告）號(hào): CN110660037B
• 公開（公告）日: 2023-02-10
• 發(fā)明（設(shè)計(jì)）人: 陳冠男
• 申請(qǐng)（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;G06V10/82;G06V40/16;G06N3/04;G06N3/08
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 李舒;陳嵐

1.一種在圖像之間實(shí)現(xiàn)臉部交換的方法，包括以下步驟：

提取第一圖像中的臉部圖像作為臉部?jī)?nèi)容圖像和提取第二圖像中的臉部圖像作為臉部風(fēng)格圖像；

經(jīng)由深度卷積神經(jīng)網(wǎng)絡(luò)從所述臉部?jī)?nèi)容圖像得到原始內(nèi)容特征作為第一內(nèi)容特征和從所述臉部風(fēng)格圖像得到原始風(fēng)格特征作為第一風(fēng)格特征，其中與所述原始風(fēng)格特征相比，所述原始內(nèi)容特征從所述深度卷積神經(jīng)網(wǎng)絡(luò)的較高卷積層得到；

基于預(yù)定義的損失函數(shù)，根據(jù)所述第一內(nèi)容特征和第一風(fēng)格特征，從初始的臉部風(fēng)格遷移圖像開始來迭代地優(yōu)化，所述迭代地優(yōu)化包括：將臉部風(fēng)格遷移圖像輸入到所述深度卷積神經(jīng)網(wǎng)絡(luò)，從所述深度卷積神經(jīng)網(wǎng)絡(luò)不同的卷積層輸出該臉部風(fēng)格遷移圖像的第二內(nèi)容特征和第二風(fēng)格特征，其中與所述第二風(fēng)格特征相比，所述第二內(nèi)容特征從所述深度卷積神經(jīng)網(wǎng)絡(luò)的較高卷積層得到，基于所述預(yù)定義的損失函數(shù)計(jì)算臉部風(fēng)格遷移圖像的第二內(nèi)容特征和第二風(fēng)格特征相對(duì)于第一內(nèi)容特征和第一風(fēng)格特征的內(nèi)容損失和風(fēng)格損失；根據(jù)計(jì)算的內(nèi)容損失和風(fēng)格損失的加權(quán)和來優(yōu)化臉部風(fēng)格遷移圖像以得到經(jīng)修改的臉部風(fēng)格遷移圖像，以及將經(jīng)修改的臉部風(fēng)格遷移圖像作為迭代變量用于下一次迭代中，且在執(zhí)行所述迭代優(yōu)化預(yù)定次數(shù)后，輸出經(jīng)優(yōu)化的臉部風(fēng)格遷移圖像；以及

通過用所述經(jīng)優(yōu)化的臉部風(fēng)格遷移圖像與第二圖像進(jìn)行融合，以生成包含經(jīng)風(fēng)格遷移的臉部的第三圖像，

其中用所述經(jīng)優(yōu)化的臉部風(fēng)格遷移圖像與第二圖像進(jìn)行融合包括：

－ 根據(jù)從所述經(jīng)優(yōu)化的臉部風(fēng)格遷移圖像獲得的臉部特征點(diǎn)向量計(jì)算第一二維凸包邊界，根據(jù)從第二圖像獲得的臉部特征點(diǎn)向量計(jì)算第二二維凸包邊界；

－ 獲得第一二維凸包邊界內(nèi)的區(qū)域作為第一臉部掩膜，獲得第二二維凸包邊界內(nèi)的區(qū)域作為第二臉部掩膜，將第一和第二臉部掩膜取并集，得到融合后的臉部掩膜；

－ 在分別對(duì)臉部風(fēng)格遷移圖像和第二圖像進(jìn)行高斯模糊后通過計(jì)算兩個(gè)圖像的亮度值比而獲得每個(gè)像素點(diǎn)的亮度比例系數(shù)，該亮度比例系數(shù)比例被用于對(duì)臉部風(fēng)格遷移圖像進(jìn)行亮度值校正；和

－ 以融合后的臉部掩膜做參考，將臉部風(fēng)格遷移圖像中經(jīng)亮度值校正的臉部區(qū)域融合至第二圖像的對(duì)應(yīng)區(qū)域。

2.根據(jù)權(quán)利要求1所述的方法，其中所述深度卷積神經(jīng)網(wǎng)絡(luò)的卷積層的數(shù)量為8個(gè)。

3.根據(jù)權(quán)利要求2所述的方法，包括從深度卷積神經(jīng)網(wǎng)絡(luò)的第7卷積層得到所述原始內(nèi)容特征，而從其第1、3、5卷積層得到所述原始風(fēng)格特征。

4.根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的方法，其中所述預(yù)定義的損失函數(shù)包括用于計(jì)算內(nèi)容損失的內(nèi)容損失函數(shù)和用于計(jì)算風(fēng)格損失的風(fēng)格損失函數(shù)，且所述內(nèi)容損失和風(fēng)格損失被分別用于優(yōu)化所述臉部風(fēng)格遷移圖像。

5.根據(jù)權(quán)利要求4所述的方法，還包括計(jì)算所述內(nèi)容損失和風(fēng)格損失的加權(quán)和作為總的損失，以及當(dāng)所述總的損失達(dá)到某一閾值時(shí)，輸出經(jīng)優(yōu)化的臉部風(fēng)格遷移圖像。

6.根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的方法，其中將VGG19模型的預(yù)訓(xùn)練參數(shù)作為所述深度卷積神經(jīng)網(wǎng)絡(luò)的初始預(yù)訓(xùn)練參數(shù)。

7.根據(jù)權(quán)利要求1所述的方法，其中所述預(yù)定次數(shù)是100次。

8.根據(jù)權(quán)利要求1所述的方法，其中用臉部風(fēng)格遷移圖像與第二圖像進(jìn)行融合之前還包括：以第二圖像作為參考對(duì)所得到的臉部風(fēng)格遷移圖像進(jìn)行旋轉(zhuǎn)、縮放和平移，以實(shí)現(xiàn)臉部對(duì)齊。