[發(fā)明專(zhuān)利]人臉圖像重演方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011639654.0
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112652058A
• 公開(kāi)（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 鄭康元;王雷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣州華多網(wǎng)絡(luò)科技有限公司
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06T15/00;G06T7/20;G06N3/04
• 代理公司: 廣州利能知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44673
• 代理人: 王增鑫

1.一種人臉圖像重演方法，其特征在于，包括：

采集目標(biāo)用戶(hù)人臉圖像的第一參數(shù)集和第二參數(shù)集；

根據(jù)所述第一參數(shù)集和第二參數(shù)集對(duì)所述人臉圖像進(jìn)行三維建模，生成第一模擬圖像和第二模擬圖像；

將所述第一模擬圖像和第二模擬圖像輸入至預(yù)設(shè)的運(yùn)動(dòng)預(yù)估模型中，其中，所述運(yùn)動(dòng)預(yù)估模型用于根據(jù)同一人臉的不同圖像計(jì)算人臉運(yùn)動(dòng)向量的神經(jīng)網(wǎng)絡(luò)模型；

讀取所述運(yùn)動(dòng)預(yù)估模型輸出的運(yùn)動(dòng)向量，并將預(yù)設(shè)的源圖像和所述運(yùn)動(dòng)向量輸入至預(yù)設(shè)的人臉重演模型中，其中，所述人臉重演模型用于根據(jù)人臉圖像和運(yùn)動(dòng)向量生成重演圖像的神經(jīng)網(wǎng)絡(luò)模型；

讀取所述人臉重演模型輸出的所述人臉圖像的重演圖像。

2.根據(jù)權(quán)利要求1所述的人臉圖像重演方法，其特征在于，所述采集目標(biāo)用戶(hù)人臉圖像的第一參數(shù)集和第二參數(shù)集包括：

采集所述人臉圖像的源圖像和驅(qū)動(dòng)圖像，其中，所述源圖像和驅(qū)動(dòng)圖像中的人臉圖像存在姿態(tài)差異；

通過(guò)所述源圖像采集所述第一參數(shù)集，并通過(guò)所述驅(qū)動(dòng)圖像采集所述第二參數(shù)集。

3.根據(jù)權(quán)利要求1所述的人臉圖像重演方法，其特征在于，所述第一參數(shù)集包括：第一身份系數(shù)、第一表情系數(shù)和第一姿態(tài)系數(shù)，所述第二參數(shù)集包括：第一身份系數(shù)、第二表情系數(shù)和第二姿態(tài)系數(shù)，所述根據(jù)所述第一參數(shù)集和第二參數(shù)集對(duì)所述人臉圖像進(jìn)行三維建模，生成第一模擬圖像和第二模擬圖像：

將所述第一身份系數(shù)、第一表情系數(shù)和第一姿態(tài)系數(shù)輸入至預(yù)設(shè)的三維建模模型中，生成所述第一模擬圖像；

將所述第一身份系數(shù)、第二表情系數(shù)和第二姿態(tài)系數(shù)輸入至所述三維建模模型中，生成所述第二模擬圖像。

4.根據(jù)權(quán)利要求1所述的人臉圖像重演方法，其特征在于，所述運(yùn)動(dòng)預(yù)估模型包括第一卷積通道和第一反卷積通道，所述將所述第一模擬圖像和第二模擬圖像輸入至預(yù)設(shè)的運(yùn)動(dòng)預(yù)估模型中包括：

將所述第一模擬圖像和第二模擬圖像進(jìn)行圖像疊加后生成第一疊加圖像，并將所述第一疊加圖像輸入至所述運(yùn)動(dòng)預(yù)估模型中；

所述運(yùn)動(dòng)預(yù)估模型通過(guò)第一卷積通道對(duì)所述第一疊加圖像進(jìn)行卷積池化處理，生成第一下采樣特征；

所述運(yùn)動(dòng)預(yù)估模型通過(guò)第一反卷積通道對(duì)所述第一下采樣特征進(jìn)行插值處理，生成第一上采樣特征；

將所述第一下采樣特征和所述第一上采樣特征進(jìn)行特征融合疊加生成所述運(yùn)動(dòng)向量。

5.根據(jù)權(quán)利要求1所述的人臉圖像重演方法，其特征在于，所述人臉重演模型包括第二卷積通道和第二反卷積通道，所述將預(yù)設(shè)的源圖像和所述運(yùn)動(dòng)向量輸入至預(yù)設(shè)的人臉重演模型中包括：

將所述源圖像和運(yùn)動(dòng)向量進(jìn)行疊加后生成第二疊加圖像，并將所述第二疊加圖像輸入至所述人臉重演模型中；

所述人臉重演模型通過(guò)所述第二卷積通道對(duì)所述第二疊加圖像進(jìn)行卷積池化處理，生成第二下采樣特征；

所述人臉重演模型通過(guò)所述第二反卷積通道對(duì)所述第二下采樣特征進(jìn)行插值處理，生成第二上采樣特征；

將所述第二下采樣特征和所述第二上采樣特征進(jìn)行特征融合疊加生成所述重演圖像。

6.根據(jù)權(quán)利要求1所述的人臉圖像重演方法，其特征在于，所述將預(yù)設(shè)的源圖像和所述運(yùn)動(dòng)向量輸入至預(yù)設(shè)的人臉重演模型中之后，包括：

讀取預(yù)設(shè)的驅(qū)動(dòng)圖像，其中，所述第二參數(shù)集根據(jù)所述驅(qū)動(dòng)圖像提取得到；

基于預(yù)設(shè)的損失函數(shù)，計(jì)算所述重演圖像與所述驅(qū)動(dòng)圖像之間的特征差值；

將所述特征差值與預(yù)設(shè)的損失閾值進(jìn)行比對(duì)，當(dāng)所述特征差值大于所述損失閾值，根據(jù)所述特征差值反復(fù)迭代的對(duì)所述運(yùn)動(dòng)預(yù)估模型和人臉重演模型的權(quán)重進(jìn)行校正，直至所述特征差值小于等于所述損失閾值為止。

7.根據(jù)權(quán)利要求6所述的人臉圖像重演方法，其特征在于，所述損失函數(shù)為聯(lián)合損失函數(shù)，所述聯(lián)合損失函數(shù)用于約束所述重演圖像與所述驅(qū)動(dòng)圖像之間的像素差平方平均值，以及特征余弦相似度值。