[發明專利]一種基于神經網絡的面部動畫綁定加速方法

有效

• 申請號: 202111310642.8
• 申請日: 2021-11-08
• 公開（公告）號: CN113781616B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 趙銳;侯志迎;徐正浩
• 申請（專利權）人: 江蘇原力數字科技股份有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T17/20;G06N3/04;G06N3/08;G06V10/77;G06V10/774;G06V10/82;G06K9/62
• 代理公司: 南京常青藤知識產權代理有限公司 32286
• 代理人: 高遠

1.一種基于神經網絡的面部動畫綁定加速方法，其特征在于：包括以下步驟：

S1.訓練數據生成，以原始綁定文件中的基本面部表情庫為基礎隨機生成訓練數據，訓練數據包括多組控制器的值和與之對應的Mesh頂點的值；

S2.神經網絡搭建，神經網絡包括多層依次連接的全連接層和PCA層，PCA層用于計算訓練數據的主成分值，得到多個混合變形器，多個全連接層輸入為控制器的值，輸出為多個混合變形器的系數組成的多維向量；

S3.訓練網絡模型，用于通過建立回歸任務，采用代價函數進行誤差計算，得到損失最小化時的神經網絡模型，所述代價函數采用均方誤差；

S4.通過動畫軟件編寫插件，將所述插件與原始綁定文件中的控制器相結合，并利用訓練好的網絡模型，組合形成新的綁定文件；

步驟S2中，PCA層具體包括以下步驟：

S211.計算整個數據集控制器值的平均值，數據集中每個控制器的值減去平均值得到數據差值；

S212.采用步驟S211中數據差值進行主成分分析，并獲取主成分的特征值和特征向量，提取前n個特征值對應的特征向量作為n個混合變形器，則新的Mesh表示為：，其中，為每個混合變形器的系數，即全連接層的輸出，j為大于0的整數，n為提取的排序靠前的特征值的數量；

步驟S2中，多個全連接層用于獲取混合變形器的系數，計算預測出的Mesh頂點坐標值，第一層全連接層的輸入是一組控制器的值，輸出隱含層的特征，第二至第M層全連接層的輸入是第一層全連接層的隱含層的特征，輸出是多個混合變形器的系數組成的向量，其中，M為全連接層的層數，M為大于0的整數。

2.根據權利要求1所述的基于神經網絡的面部動畫綁定加速方法，其特征在于：步驟S1中，訓練數據生成方法具體包括以下步驟：

S11.以基本面部表情庫為基礎，獲取面部控制器列表；

S12.獲取各個控制器的值和取值范圍；

S13.在控制器的取值范圍內，隨機改變k個控制器的值并重復n次，生成n組新的控制器組合；

S14.令k = k + 1，n = n - i，重復步驟S13，直至k與控制器的數量相等；

S15.隨機改變后生成的所有控制器組合導入動畫軟件中，并獲取對應的Mesh頂點坐標，即每組控制器的值和Mesh頂點的值一一對應；

其中，k、n和i均為大于0的整數。

3.根據權利要求1所述的基于神經網絡的面部動畫綁定加速方法，其特征在于：步驟S3中，控制器的值作為輸入，Mesh頂點坐標作為標簽，建立回歸任務，代價函數采用均方誤差，使Mesh頂點坐標的值與網絡預測結果的誤差最小化，保存訓練過程中損失最低的模型參數，并使用adam算法進行優化。

4.根據權利要求1所述的基于神經網絡的面部動畫綁定加速方法，其特征在于：步驟S4中，組合綁定文件方法具體包括以下步驟：

S41.訓練pytorch框架，且使用libtorch庫做前向運算，并將libtorch與動畫軟件的接口結合，編寫插件，所述插件用于輸入控制器的值，輸出對應Mesh頂點的坐標值；

S42.保留原始綁定文件的控制器，將其與步驟S41中的插件組合形成新的綁定文件，完成綁定文件的加速替換。

5.根據權利要求4所述的基于神經網絡的面部動畫綁定加速方法，其特征在于：所述動畫軟件包括maya和UE。

6.根據權利要求5所述的基于神經網絡的面部動畫綁定加速方法，其特征在于：動畫軟件采用UE編寫插件的方法包括以下步驟：

Q1.訓練使用pytorch框架，預測使用pytorch提供的libtorch接口；

Q2.將libtorch集成到UE中，插件運行具體步驟如下：

Q21.在UE中導入自然狀態下的mesh頂點坐標值，即無表情狀態下的mesh頂點坐標值；

Q22.采用UE的livelink接收控制器的數據；

Q23.數據輸入到libtorch庫中得到mesh頂點的坐標；

Q24.得到的坐標值減去自然狀態下的坐標得到每個頂點的位移；

Q25.根據每個頂點的位移在UE中實現形變。