[發明專利]基于二維的三維表情擬合方法、裝置、設備及存儲介質

在審

• 申請號: 202210276368.5
• 申請日: 2022-03-21
• 公開（公告）號: CN114581572A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 宋展;謝鵬舉;葉于平
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V40/16
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 劉建偉

1.一種基于二維的三維表情擬合方法，其特征在于，包括：

獲取二維表情圖像，并識別二維表情圖像所屬的目標表情類型；

獲取與所述目標表情類型對應的目標表情系數組，每個表情類型對應一個表情系數組，所述表情系數組基于預先構建的表情基、二維樣本表情和三維樣本表情映射得到，所述表情基包括多個預設基礎三維表情，所述表情系數組包括與每個預設基礎三維表情對應的表情系數；

根據所述目標表情系數組對所述表情基進行擬合，得到三維人臉表情并輸出。

2.根據權利要求1所述的基于二維的三維表情擬合方法，其特征在于，預先構建所述表情基，具體包括：

獲取當前預設基礎表情類型對應的臉部的三維點云數據，預設基礎表情類型預先構建多個，并基于預設的臉部區域劃分規則，設定每個預設基礎表情類型對應的區域；

確認當前預設基礎表情類型對應的目標區域，并從所述三維點云數據中獲取所述目標區域對應的目標三維點云數據；

根據所述目標三維點云數據生成三維圖像并替換至預先構建的中立三維表情模板中對應的區域，得到所述當前預設基礎表情類型對應的當前預設基礎三維表情；

循環執行上述過程，以得到每個預設基礎表情類型對應的預設基礎三維表情，再根據所有的預設基礎三維表情構建所述表情基。

3.根據權利要求1所述的基于二維的三維表情擬合方法，其特征在于，基于預先構建的表情基、二維樣本表情和三維樣本表情映射得到所述表情系數組，具體包括：

獲取當前表情類型對應的當前二維樣本表情和當前三維樣本表情；

從所述當前二維樣本表情提取特征數據后按所述當前表情類型對應的表情系數組和所述表情基進行擬合，得到當前三維擬合表情；

根據所述當前三維樣本表情、所述當前三維擬合表情和預設擬合函數更新所述當前表情類型對應的表情系數組；

循環利用所述當前表情類型的二維樣本表情更新表情系數組，直至達到預設要求后，得到所述當前表情類型對應的表情系數組；

重復執行上述過程，以得到每個表情類型對應的表情系數組并保存。

4.根據權利要求3所述的基于二維的三維表情擬合方法，其特征在于，所述從所述當前二維樣本表情提取特征數據后按所述當前表情類型對應的表情系數組和所述表情基進行擬合，得到當前三維擬合表情，包括：

將當前表情類型的當前二維樣本表情打上標簽，所述標簽記錄了與所述當前表情類型對應的表情系數組；

將打上所述標簽的當前二維樣本表情輸入至表情變換模型，由所述表情變換模型從所述當前二維樣本表情中提取特征數據，再按所述標簽中的表情系數組對特征數據進行擬合，得到當前三維擬合表情。

5.根據權利要求4所述的基于二維的三維表情擬合方法，其特征在于，所述表情變換模型基于Resnet-18模型變換得到，包括輸入層、一個全連接層、擬合層和softmax層，所述擬合層包括與所述表情系數組中每個表情系數對應的預設基礎三維表情的分類。

6.根據權利要求3所述的基于二維的三維表情擬合方法，其特征在于，所述預設擬合函數包括：

σ＝min||E_k-E_j||；

其中，σ表示能量參數，E_k表示三維樣本表情，E_j表示三維擬合表情，x_i表示第i個表情系數，S_i表示表情基中第i個預設基礎三維表情，n表示表情系數的數量。

7.根據權利要求6所述的基于二維的三維表情擬合方法，其特征在于，所述循環利用所述當前表情類型的二維樣本表情更新表情系數組，直至達到預設要求后，得到所述當前表情類型對應的表情系數組，包括：

根據所述能量參數，進行多次循環更新，直至得到一組使得所述能量參數低于預設閾值的表情系數組，作為所述當前表情類型對應的表情系數組。