[發(fā)明專利]圖像處理方法、裝置、設(shè)備、介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010594436.3
• 申請日: 2020-06-28
• 公開（公告）號: CN111583399A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計）人: 黃浩智;曹蒙;王浩;王璇;沈力;王盛;暴林超;李志鋒;劉威
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王娟;孫宛晨

公開了一種圖像處理方法、裝置、設(shè)備、介質(zhì)和電子設(shè)備。所述圖像處理方法包括：利用三維重建的方式，確定第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)；基于所述第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)生成二維的融合的渲染人臉圖像；拼接所述渲染人臉圖像和外觀提示圖像，以得到拼接的圖像特征，其中所述外觀提示圖像指示輸出圖像中用于所述渲染人臉圖像的臉部區(qū)域的輪廓；基于所述拼接的圖像特征生成輸出圖像。

技術(shù)領(lǐng)域

本申請涉及圖像處理領(lǐng)域，更具體地涉及一種圖像處理方法、裝置、設(shè)備、介質(zhì)。

背景技術(shù)

可以對人臉圖像執(zhí)行各種處理以得到不同的效果。例如，通過給定原始人臉和參考人臉，可以生成與參考人臉身份信息一致，保留原始人臉的光線、姿態(tài)、裝扮屬性等效果的虛擬人臉，以實現(xiàn)換臉效果。又例如，還可以基于原始人臉和參考人臉生成與原始人臉的身份和屬性信息一致，同時模擬參考人臉的表情和姿態(tài)的虛擬人臉，以實現(xiàn)面部重現(xiàn)的效果。然而，換臉效果和面部重現(xiàn)的效果都僅局限于針對一種人臉參數(shù)的編輯。

發(fā)明內(nèi)容

根據(jù)本申請的一方面，提出了一種圖像處理方法，包括：利用三維重建的方式，確定第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)；基于所述第一人臉圖像的身份參數(shù)、所述第二人臉圖像的姿態(tài)參數(shù)和所述第三人臉圖像的表情參數(shù)生成二維的融合的渲染人臉圖像；拼接所述渲染人臉圖像和外觀提示圖像，以得到拼接的圖像特征；基于所述拼接的圖像特征生成輸出圖像，其中所述外觀提示圖像指示輸出圖像中用于所述渲染人臉圖像的臉部區(qū)域的輪廓。

在一些實施例中，基于所述拼接的圖像特征生成輸出圖像包括：利用殘差網(wǎng)絡(luò)對所述拼接的圖像特征進行特征變換，以得到變換圖像特征；利用基于所述第一人臉圖像生成的身份特征和所述外觀提示圖像對所述變換圖像特征進行調(diào)整以生成所述輸出圖像。

在一些實施例中，利用基于所述第一人臉圖像生成的身份特征和所述外觀提示圖像對所述變換圖像特征進行調(diào)整以生成所述輸出圖像包括：基于所述外觀提示圖像生成所述臉部區(qū)域的掩膜圖像；基于所述掩膜圖像確定臉部區(qū)域的內(nèi)部圖像特征和臉部區(qū)域的外部圖像特征；利用所述身份特征分別調(diào)整所述內(nèi)部圖像特征和所述外部圖像特征，以得到調(diào)整后的內(nèi)部圖像特征和調(diào)整后的外部圖像特征；疊加所述調(diào)整后的內(nèi)部圖像特征和所述調(diào)整后的外部圖像特征以得到調(diào)整后的圖像特征；基于所述調(diào)整后的圖像特征確定所述輸出圖像。

在一些實施例中，利用三維重建的方式，確定第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)包括：針對第一人臉圖像、第二人臉圖像和第三人臉圖像中的每個人臉圖像，對該人臉圖像進行三維重建，以得到對應(yīng)于該人臉圖像的三維人臉；基于所述三維人臉確定該人臉圖像的身份參數(shù)和表情參數(shù)；基于所述三維人臉到該人臉圖像的投影確定相機投影參數(shù)，作為該人臉圖像的姿態(tài)參數(shù)；提取第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)以及第三人臉圖像的表情參數(shù)。

在一些實施例中，基于所述第一人臉圖像的身份參數(shù)、第二人臉圖像的姿態(tài)參數(shù)和第三人臉圖像的表情參數(shù)生成二維的融合的渲染人臉圖像包括：利用所述第一人臉圖像的身份參數(shù)和第三人臉圖像的表情參數(shù)構(gòu)建融合的三維人臉；基于第三人臉圖像的姿態(tài)參數(shù)對融合的三維人臉進行投影，以得到二維的所述渲染人臉圖像。

在一些實施例中，所述外觀提示圖像是通過在所述第三人臉圖像中移除臉部區(qū)域的像素生成的。

在一些實施例中，所述渲染人臉圖像具有第一通道數(shù)，所述外觀提示圖像具有第二通道數(shù)，拼接所述渲染人臉圖像和外觀提示圖像，以得到拼接的圖像特征包括：在通道維度上對所述渲染人臉圖像和所述外觀提示圖像進行拼接，以生成所述拼接的圖像特征，其中所述拼接的圖像特征的通道數(shù)是第一通道數(shù)和第二通道數(shù)之和。