[發明專利]人臉重建方法及裝置、計算機可讀存儲介質、終端

在審

• 申請號: 202310620674.0
• 申請日: 2023-05-29
• 公開（公告）號: CN116664746A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 虞釘釘;徐清;王曉梅;沈偉林;沈旭立;曹培
• 申請（專利權）人: 華院計算技術（上海）股份有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T15/00;G06T3/00;G06T7/50;G06T3/40;G06T7/40;G06V40/16;G06V10/80
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張英英

1.一種人臉重建方法，其特征在于，包括：

分別對原始人臉圖像及其深度圖像進行特征提取，得到人臉特征矩陣以及深度圖特征矩陣；

對所述人臉特征矩陣以及所述深度圖特征矩陣進行拼接處理，得到融合特征矩陣；

將所述融合特征矩陣輸入預測模型，得到優化形狀矩陣和優化表情矩陣；基于所述優化形狀矩陣和所述優化表情矩陣，對初始化紋理矩陣和初始化光照控制矩陣進行迭代優化，以確定優化紋理矩陣和優化光照控制矩陣。

2.根據權利要求1所述的方法，其特征在于，對所述人臉特征矩陣以及所述深度圖特征矩陣進行拼接處理，包括：

將所述深度圖特征矩陣中的深度特征編碼整體拼接至所述人臉特征矩陣的預設位置。

3.根據權利要求2所述的方法，其特征在于，所述預設位置為所述深度圖特征矩陣中最后一個深度特征編碼的后一位置。

4.根據權利要求1所述的方法，其特征在于，基于所述優化形狀矩陣和所述優化表情矩陣，對初始化紋理矩陣和初始化光照控制矩陣進行迭代優化，以確定優化紋理矩陣和優化光照控制矩陣，包括：

基于所述優化形狀矩陣和優化表情矩陣，確定待渲染人臉模型；

根據所述原始人臉圖像和所述待渲染人臉模型，確定仿射變換矩陣；

基于所述待渲染人臉模型和所述仿射變換矩陣，構建第一損失函數；

采用梯度優化算法以及所述第一損失函數，對所述初始化紋理矩陣和初始化光照控制矩陣進行迭代優化，直至所述第一損失函數收斂或迭代次數達到第一預設次數，停止迭代并得到所述優化紋理矩陣和優化光照控制矩陣。

5.根據權利要求4所述的方法，其特征在于，每次迭代中，基于下述過程確定當前次迭代后所述第一損失函數的函數值：

采用當前次迭代優化的紋理矩陣和光照控制矩陣對所述待渲染人臉模型進行可微渲染，并采用所述仿射變換矩陣對渲染結果進行仿射變換，得到渲染圖像；

確定所述渲染圖像和所述原始人臉圖像的像素差值的絕對值之和，記為第一損失值；

確定當前次迭代優化的紋理矩陣和光照控制矩陣的L2范數值，記為第二損失值；

采用所述第一損失值與所述第二損失值的加權求和結果，作為當前次迭代后所述第一損失函數的函數值。

6.根據權利要求4或5所述的方法，其特征在于，所述第一損失函數采用下述公式表示：

其中，θ表示當前次迭代優化的紋理矩陣，δ表示當前次迭代優化的光照控制矩陣，P表示所述仿射變換矩陣，α表示所述優化形狀矩陣，γ表示所述優化表情矩陣，I_m表示當前次迭代中得到的渲染圖像的第m個像素的像素值，表示所述原始人臉圖像的第m個像素的像素值，M表示像素數量，L2()表示L2范數計算函數，ω₁和ω₂分別表示第一權重值和第二權重值。

7.根據權利要求4所述的方法，基于所述優化形狀矩陣和優化表情矩陣，確定待渲染人臉模型，包括：

確定所述優化形狀矩陣與通用形狀矩陣的乘積，記為第一矩陣乘積；

確定所述優化表情矩陣與通用表情矩陣的乘積，記為第二矩陣乘積；

對所述第一矩陣乘積、所述第二矩陣乘積以及平均形狀矩陣進行求和，以確定所述待渲染人臉模型。

8.根據權利要求7所述的方法，其特征在于，采用下述公式，確定所述待渲染人臉模型：

其中，G(α,γ)表示所述待渲染人臉模型，α表示所述優化形狀矩陣，S表示所述通用形狀矩陣，γ表示所述優化表情矩陣，E表示所述通用表情矩陣，表示所述平均形狀矩陣。

9.根據權利要求4所述的方法，其特征在于，根據所述原始人臉圖像和所述待渲染人臉模型，確定仿射變換矩陣，包括：

從所述原始人臉圖像中提取多個第一關鍵點，基于提取的第一關鍵點從所述待渲染人臉模型中確定多個第二關鍵點，所述第一關鍵點與所述第二關鍵點一一對應；

基于所述多個第一關鍵點與所述多個第二關鍵點，確定所述仿射變換矩陣。