[發(fā)明專利]二維到三維人臉表情遷移方法、電子裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210430797.3
• 申請日: 2022-04-22
• 公開（公告）號: CN114926581A
• 公開（公告）日: 2022-08-19
• 發(fā)明（設計）人: 白澤琛;陳輝;姚乃明;王宏安
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/16;G06V10/82
• 代理公司: 北京君尚知識產(chǎn)權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種二維到三維人臉表情遷移方法，其特征在于，包括以下步驟：

獲取真實交互場景下的二維人臉圖像，作為源表情表示；獲取虛擬交互場景下的三維人臉形變模型，作為目標三維人臉表情表示；

采用預先訓練的人臉三維參數(shù)提取模型，對所述二維人臉圖像進行人臉三維參數(shù)提取；所述人臉三維參數(shù)包括身份參數(shù)、表情參數(shù)、相機參數(shù)；

將所述二維人臉圖像對應的所述表情參數(shù)輸入一個預先訓練的融合變形系數(shù)估計模型，獲得融合變形系數(shù)；

將所述融合變形系數(shù)輸入三維建模軟件，驅(qū)動所述三維人臉形變模型，獲得目標三維人臉表情表示，具有與所述二維人臉圖像一致的表情。

2.如權利要求1所述的方法，其特征在于，所述三維人臉形變模型包括一組能夠表達基本面部肌肉運動的融合變形表情基模型。

3.如權利要求1所述的方法，其特征在于，所述人臉三維參數(shù)提取模型是一種神經(jīng)網(wǎng)絡模型，采用如下方式訓練得到：

采集真實樣本訓練集，所述真實樣本訓練集包含多張真實交互場景內(nèi)的人臉圖像；

獲取三維重建渲染器，所述三維重建渲染器能夠以可微分的方式基于三維參數(shù)進行三維重建、渲染、投影；

采用所述真實樣本訓練集和所述三維重建渲染器，訓練得到所述人臉三維參數(shù)提取模型。

4.如權利要求3所述的方法，其特征在于，采用所述真實樣本訓練集和所述三維重建渲染器，訓練得到所述人臉三維參數(shù)提取模型，包括：

將所述真實樣本訓練集中的多張真實人臉圖像輸入待訓練的人臉三維參數(shù)提取模型，獲得各人臉圖像對應的人臉三維參數(shù)；

根據(jù)所述各人臉圖像對應的人臉三維參數(shù)，進行三維重建，獲得三維人臉重建結(jié)果；

根據(jù)所述三維人臉重建結(jié)果，獲得對應二維人臉投影圖像；

根據(jù)所述真實人臉圖像、所述二維人臉投影圖像、以及預設的損失函數(shù)，對所述人臉三維參數(shù)提取模型的神經(jīng)網(wǎng)絡參數(shù)進行迭代優(yōu)化，得到所述人臉三維參數(shù)提取模型。

5.如權利要求1所述的方法，其特征在于，所述融合變形系數(shù)估計模型是一種神經(jīng)網(wǎng)絡模型，采用如下方式訓練得到：

采集虛擬樣本訓練集，所述虛擬樣本訓練集包含多組部分隨機生成的融合變形系數(shù)，以及與之對應的虛擬交互場景內(nèi)的虛擬人臉圖像與虛擬人臉表情參數(shù)；

采用所述虛擬樣本訓練集，訓練得到所述融合變形系數(shù)估計模型。

6.如權利要求5所述的方法，其特征在于，所述虛擬樣本訓練集中所述多組部分隨機生成的融合變形系數(shù)的獲取方式包括：

完全隨機生成多組融合變形系數(shù)；

根據(jù)人類生理學和肌肉運動的先驗知識，制定形變規(guī)則庫；

使用所述形變規(guī)則庫，對所述完全隨機生成的多組融合變形系數(shù)中不合理的融合變形系數(shù)進行過濾，獲得所述多組部分隨機生成的融合變形系數(shù)。

7.如權利要求5所述的方法，其特征在于，所述虛擬人臉圖像與虛擬人臉表情參數(shù)的獲取方式包括：

將所述部分隨機生成的融合變形系數(shù)輸入三維建模軟件，驅(qū)動所述三維人臉形變模型，并使用三維建模軟件的渲染功能，獲得所述虛擬人臉圖像；

將所述虛擬人臉圖像輸入所述預先訓練的人臉三維參數(shù)提取模型，獲得所述虛擬人臉表情參數(shù)。

8.如權利要求5所述的方法，其特征在于，采用所述虛擬樣本訓練集，訓練得到所述融合變形系數(shù)估計模型，包括：

將所述虛擬人臉表情參數(shù)輸入待訓練的融合變形系數(shù)估計模型，獲得預估的虛擬人臉融合變形系數(shù)；

根據(jù)所述部分隨機生成的融合變形系數(shù)、所述預估的虛擬人臉融合變形系數(shù)、預設的損失函數(shù)，對所述待訓練的融合變形系數(shù)估計模型的神經(jīng)網(wǎng)絡參數(shù)進行迭代優(yōu)化，得到所述融合變形系數(shù)估計模型。

9.一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有計算機程序和數(shù)據(jù)，其中，所述計算機程序和數(shù)據(jù)被設置為運行時執(zhí)行權利要求1-8中任一項所述的方法。

10.一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計算機程序和數(shù)據(jù)，所述處理器被設置為運行所述計算機程序和數(shù)據(jù)以執(zhí)行如權利要求1-8中任一項所述的方法。