[發明專利]人臉表情的重建方法、裝置、設備和存儲介質

在審

• 申請號: 202111503555.4
• 申請日: 2021-12-09
• 公開（公告）號: CN114202615A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 姚粵漢;張雄;彭國柱
• 申請（專利權）人: 廣州方硅信息技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06T7/80;G06V40/16;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 賈小慧

1.一種人臉表情的重建方法，其特征在于，所述方法包括：

獲取人臉圖像；

將所述人臉圖像輸入至預先訓練好的深度神經網絡模型，以輸出人臉圖像的表情系數和拍攝參數；

根據所述表情系數從預設的基本表情模板庫中選擇出至少一個基本表情模板；

根據所述表情系數、至少一個所述基本表情模板和所述拍攝參數進行人臉表情重建。

2.根據權利要求1所述的方法，其特征在于，所述預先訓練好的深度神經網絡模型通過以下方法獲得：

獲取人臉圖像樣本；

對所述人臉圖像樣本進行人臉關鍵點標注，以得到第一人臉關鍵點集；

將關鍵點標注后的人臉圖像樣本輸入至深度神經網絡模型，以輸出形狀系數、表情系數和拍攝參數；

根據所述形狀系數、所述表情系數、所述拍攝參數和三維形變模型進行人臉重建，得到人臉三維模型；

在所述人臉三維模型上選擇人臉關鍵點，將選出的所述人臉關鍵點投影到二維像素平面上，以形成第二人臉關鍵點集；

根據所述第一人臉關鍵點集和所述第二人臉關鍵點集確定均方損失函數；

對關鍵點標注后的人臉圖像樣本進行仿射變換，并在仿真變換的人臉圖像樣本確定第三人臉關鍵點集；

根據所述第一人臉關鍵點集、所述第二人臉關鍵點集和所述第三人臉關鍵點集確定一致性損失函數；

根據所述均方損失函數和一致性損失函數確定總損失函數；

根據所述總損失函數來更新所述深度神經網絡模型的網絡參數，直至收斂，以獲得預先訓練好的深度神經網絡模型；

其中，第一人臉關鍵點集、第二人臉關鍵點集和所述第三人臉關鍵點集中的人臉關鍵點數量相同。

3.根據權利要求2所述的方法，其特征在于，所述在所述人臉三維模型上選擇人臉關鍵點包括：

分別從所述人臉三維模型的五官中以及臉部輪廓中的不同位置選取多個人臉關鍵點。

4.根據權利要求3所述的方法，其特征在于，所述從所述人臉三維模型的臉部輪廓中的不同位置選取多個人臉關鍵點，包括：

在所述人臉三維模型的臉部輪廓上隨機選取多條曲線，其中各條曲線分布于所述臉部輪廓的不同位置，且各條曲線之間不相交；

分別從各條所述曲線上選擇一個或多個點作為候選關鍵點；

從所述候選關鍵點中選取多個人臉關鍵點。

5.根據權利要求4所述的方法，其特征在于，所述分別從各條所述曲線上選擇一個或多個點作為候選關鍵點，包括：

當所述曲線位于臉頰上時，從所述曲線中選取橫坐標絕對值最大的點作為所述候選關鍵點；和/或；

當所述曲線位于下巴上時，從所述曲線中選取橫坐標的平方值與縱坐標的平方值之和最大的點作為所述候選關鍵點。

6.根據權利要求5所述的方法，其特征在于，所述分別從各條所述曲線上選擇一個或多個點作為候選關鍵點，包括：

在各曲線上進行插值操作，以得到多個插值點；

將多個所述插值點作為所述候選關鍵點。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述拍攝參數包括旋轉參數和平移參數；所述根據所述表情系數、至少一個所述基本表情模板和所述拍攝參數進行人臉表情重建，包括：

根據所述表情系數和至少一個所述基本表情模型進行人臉合成，得到初始人臉表情模型；

根據所述旋轉參數和所述平移參數對所述初始人臉表情模型進行調整以形成最終人臉表情模型，以完成人臉表情重建。

8.一種人臉表情的重建裝置，其特征在于，所述裝置包括：

人臉圖像獲取模塊，用于獲取人臉圖像；

系數及參數輸出模塊，用于將所述人臉圖像輸入至預先訓練好的深度神經網絡模型，以輸出人臉圖像的表情系數和拍攝參數；

模板選擇模塊，用于根據所述表情系數從預設的基本表情模板庫中選擇出至少一個基本表情模板；

人臉表情重建模塊，用于根據所述表情系數、至少一個所述基本表情模板和所述拍攝參數進行人臉表情重建。