[發(fā)明專利]人臉重建方法及裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202310620674.0
• 申請(qǐng)日: 2023-05-29
• 公開（公告）號(hào): CN116664746A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 虞釘釘;徐清;王曉梅;沈偉林;沈旭立;曹培
• 申請(qǐng)（專利權(quán)）人: 華院計(jì)算技術(shù)（上海）股份有限公司
• 主分類號(hào): G06T15/04
• 分類號(hào): G06T15/04;G06T15/00;G06T3/00;G06T7/50;G06T3/40;G06T7/40;G06V40/16;G06V10/80
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張英英

一種人臉重建方法及裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、終端，所述方法包括：分別對(duì)原始人臉圖像及其深度圖像進(jìn)行特征提取，得到人臉特征矩陣以及深度圖特征矩陣；對(duì)所述人臉特征矩陣以及所述深度圖特征矩陣進(jìn)行拼接處理，得到融合特征矩陣；將所述融合特征矩陣輸入預(yù)測(cè)模型，得到優(yōu)化形狀矩陣和優(yōu)化表情矩陣；基于所述優(yōu)化形狀矩陣和所述優(yōu)化表情矩陣，對(duì)初始化紋理矩陣和初始化光照控制矩陣進(jìn)行迭代優(yōu)化，以確定優(yōu)化紋理矩陣和優(yōu)化光照控制矩陣。采用上述方案有助于改進(jìn)人臉重建的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉重建技術(shù)領(lǐng)域，尤其涉及一種人臉重建方法及裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、終端。

背景技術(shù)

當(dāng)前，人臉重建技術(shù)逐漸成為計(jì)算機(jī)視覺領(lǐng)域的核心技術(shù)。該技術(shù)主要利用三維人臉重建技術(shù)，基于被測(cè)對(duì)象的單張或多張人臉圖像重建出其三維人臉模型。三維重建技術(shù)在多種領(lǐng)域中得到廣泛應(yīng)用，比如在醫(yī)學(xué)領(lǐng)域，通過三維重建技術(shù)完成肺部重建，可以幫助醫(yī)生了解肺部病變的位置以及嚴(yán)重程度；又比如在測(cè)繪領(lǐng)域，通過三維重建技術(shù)可以精確重建出相應(yīng)的實(shí)地場(chǎng)景等。

現(xiàn)有技術(shù)中，通常根據(jù)被測(cè)對(duì)象的多張二維平面人臉圖像(例如，RGB圖像)進(jìn)行特征提取，并基于提取的人臉特征數(shù)據(jù)重建人臉的三維模型。但由于人臉具有極其復(fù)雜的幾何形狀，在利用現(xiàn)有的RGB攝像模組進(jìn)行人臉圖像采集過程中，只能捕捉被測(cè)人臉從三維空間投射至二維平面所形成的二維平面圖像信息。因此，如果僅依賴于二維平面人臉圖像中包含的信息進(jìn)行三維人臉重建，將導(dǎo)致人臉重建的精度與效果不佳。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例解決的技術(shù)問題是如何改進(jìn)人臉重建的效果。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種人臉重建方法，包括以下步驟：分別對(duì)原始人臉圖像及其深度圖像進(jìn)行特征提取，得到人臉特征矩陣以及深度圖特征矩陣；對(duì)所述人臉特征矩陣以及所述深度圖特征矩陣進(jìn)行拼接處理，得到融合特征矩陣；將所述融合特征矩陣輸入預(yù)測(cè)模型，得到優(yōu)化形狀矩陣和優(yōu)化表情矩陣；基于所述優(yōu)化形狀矩陣和所述優(yōu)化表情矩陣，對(duì)初始化紋理矩陣和初始化光照控制矩陣進(jìn)行迭代優(yōu)化，以確定優(yōu)化紋理矩陣和優(yōu)化光照控制矩陣。

可選的，對(duì)所述人臉特征矩陣以及所述深度圖特征矩陣進(jìn)行拼接處理，包括：將所述深度圖特征矩陣中的深度特征編碼整體拼接至所述人臉特征矩陣的預(yù)設(shè)位置。

可選的，所述預(yù)設(shè)位置為所述深度圖特征矩陣中最后一個(gè)深度特征編碼的后一位置。

可選的，基于所述優(yōu)化形狀矩陣和所述優(yōu)化表情矩陣，對(duì)初始化紋理矩陣和初始化光照控制矩陣進(jìn)行迭代優(yōu)化，以確定優(yōu)化紋理矩陣和優(yōu)化光照控制矩陣，包括：基于所述優(yōu)化形狀矩陣和優(yōu)化表情矩陣，確定待渲染人臉模型；根據(jù)所述原始人臉圖像和所述待渲染人臉模型，確定仿射變換矩陣；基于所述待渲染人臉模型和所述仿射變換矩陣，構(gòu)建第一損失函數(shù)；采用梯度優(yōu)化算法以及所述第一損失函數(shù)，對(duì)所述初始化紋理矩陣和初始化光照控制矩陣進(jìn)行迭代優(yōu)化，直至所述第一損失函數(shù)收斂或迭代次數(shù)達(dá)到第一預(yù)設(shè)次數(shù)，停止迭代并得到所述優(yōu)化紋理矩陣和優(yōu)化光照控制矩陣。

可選的，每次迭代中，基于下述過程確定當(dāng)前次迭代后所述第一損失函數(shù)的函數(shù)值：采用當(dāng)前次迭代優(yōu)化的紋理矩陣和光照控制矩陣對(duì)所述待渲染人臉模型進(jìn)行可微渲染，并采用所述仿射變換矩陣對(duì)渲染結(jié)果進(jìn)行仿射變換，得到渲染圖像；確定所述渲染圖像和所述原始人臉圖像的像素差值的絕對(duì)值之和，記為第一損失值；確定當(dāng)前次迭代優(yōu)化的紋理矩陣和光照控制矩陣的L2范數(shù)值，記為第二損失值；采用所述第一損失值與所述第二損失值的加權(quán)求和結(jié)果，作為當(dāng)前次迭代后所述第一損失函數(shù)的函數(shù)值。

可選的，所述第一損失函數(shù)采用下述公式表示：