[發(fā)明專利]圖像處理方法、裝置、設(shè)備、介質(zhì)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010594436.3
• 申請(qǐng)日: 2020-06-28
• 公開（公告）號(hào): CN111583399A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 黃浩智;曹蒙;王浩;王璇;沈力;王盛;暴林超;李志鋒;劉威
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王娟;孫宛晨

1.一種圖像處理方法，包括：

利用三維重建的方式，確定第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)；

基于所述第一人臉圖像的身份參數(shù)、所述第二人臉圖像的姿態(tài)參數(shù)和所述第三人臉圖像的表情參數(shù)生成二維的融合的渲染人臉圖像；

拼接所述渲染人臉圖像和外觀提示圖像，以得到拼接的圖像特征；

基于所述拼接的圖像特征生成輸出圖像，其中所述外觀提示圖像指示所述輸出圖像中用于所述渲染人臉圖像的臉部區(qū)域的輪廓。

2.如權(quán)利要求1所述的圖像處理方法，其中，基于所述拼接的圖像特征生成輸出圖像包括：

利用殘差網(wǎng)絡(luò)對(duì)所述拼接的圖像特征進(jìn)行特征變換，以得到變換圖像特征；

利用基于所述第一人臉圖像生成的身份特征和所述外觀提示圖像對(duì)所述變換圖像特征進(jìn)行調(diào)整以生成所述輸出圖像。

3.如權(quán)利要求2所述的圖像處理方法，其中，利用基于所述第一人臉圖像生成的身份特征和所述外觀提示圖像對(duì)所述變換圖像特征進(jìn)行調(diào)整以生成所述輸出圖像包括：

基于所述外觀提示圖像生成所述臉部區(qū)域的掩膜圖像；

基于所述掩膜圖像，從所述變換圖像特征確定所述臉部區(qū)域的內(nèi)部圖像特征和所述臉部區(qū)域的外部圖像特征；

利用所述身份特征分別調(diào)整所述內(nèi)部圖像特征和所述外部圖像特征，以得到調(diào)整后的內(nèi)部圖像特征和調(diào)整后的外部圖像特征；

疊加所述調(diào)整后的內(nèi)部圖像特征和所述調(diào)整后的外部圖像特征以得到調(diào)整后的圖像特征；

基于所述調(diào)整后的圖像特征確定所述輸出圖像。

4.如權(quán)利要求1-3任一項(xiàng)所述的圖像處理方法，其中，利用三維重建的方式，確定第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)包括：

針對(duì)所述第一人臉圖像、所述第二人臉圖像和所述第三人臉圖像中的每個(gè)人臉圖像，

對(duì)該人臉圖像進(jìn)行三維重建，以得到對(duì)應(yīng)于該人臉圖像的三維人臉；

基于所述三維人臉確定該人臉圖像的身份參數(shù)和表情參數(shù)；

基于所述三維人臉到該人臉圖像的投影確定相機(jī)投影參數(shù)，作為該人臉圖像的姿態(tài)參數(shù)；

提取所述第一人臉圖像的身份參數(shù)、所述第二人臉圖像的姿態(tài)參數(shù)以及所述第三人臉圖像的表情參數(shù)。

5.如權(quán)利要求1-3任一項(xiàng)所述的圖像方法，其中，基于所述第一人臉圖像的身份參數(shù)、所述第二人臉圖像的姿態(tài)參數(shù)和所述第三人臉圖像的表情參數(shù)生成二維的融合的渲染人臉圖像包括：

利用所述第一人臉圖像的身份參數(shù)和所述第三人臉圖像的表情參數(shù)構(gòu)建融合的三維人臉；

基于所述第三人臉圖像的姿態(tài)參數(shù)對(duì)所述融合的三維人臉進(jìn)行投影，以得到二維的所述渲染人臉圖像。

6.如權(quán)利要求1-3任一項(xiàng)所述的圖像處理方法，其中，所述外觀提示圖像是通過在所述第三人臉圖像中移除所述臉部區(qū)域的像素生成的。

7.如權(quán)利要求1-3任一項(xiàng)所述的圖像處理方法，其中，所述渲染人臉圖像具有第一通道數(shù)，所述外觀提示圖像具有第二通道數(shù)，

拼接所述渲染人臉圖像和外觀提示圖像，以得到拼接的圖像特征包括：

在通道維度上對(duì)所述渲染人臉圖像和所述外觀提示圖像進(jìn)行拼接，以生成所述拼接的圖像特征，其中所述拼接的圖像特征的通道數(shù)是所述第一通道數(shù)和所述第二通道數(shù)之和。