[發明專利]一種基于神經網絡的面部動畫綁定加速方法

有效

• 申請號: 202111310642.8
• 申請日: 2021-11-08
• 公開（公告）號: CN113781616B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 趙銳;侯志迎;徐正浩
• 申請（專利權）人: 江蘇原力數字科技股份有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T17/20;G06N3/04;G06N3/08;G06V10/77;G06V10/774;G06V10/82;G06K9/62
• 代理公司: 南京常青藤知識產權代理有限公司 32286
• 代理人: 高遠

本發明提供一種基于神經網絡的面部動畫綁定加速方法，包括以下步驟：S1.訓練數據生成，以原始綁定文件中的基本面部表情庫為基礎隨機生成訓練數據；S2.神經網絡搭建，神經網絡包括多層依次連接的全連接層和PCA層，PCA層用于計算訓練數據的主成分值，得到多個混合變形器，多個全連接層輸入為控制器的值，輸出為多個混合變形器的系數組成的多維向量；S3.訓練網絡模型，用于通過建立回歸任務，得到損失最小化時的神經網絡模型；S4.通過動畫軟件編寫插件，將所述插件與原始綁定文件中的控制器相結合，并利用訓練好的網絡模型，組合形成新的綁定文件。本發明模擬逼近控制器驅動的面部Mesh變形，代替原始復雜的綁定方法。

技術領域

本發明屬于動畫綁定技術領域，具體涉及一種基于神經網絡的面部動畫綁定加速方法。

背景技術

在高保真度數字電影制作過程中，為了生成表情逼真的角色面部動畫，綁定藝術家通常會為角色頭部制作極其復雜的綁定控件以及修形變形器。

現有技術中，復雜的綁定控件直接導致綁定解算節點圖龐大復雜，場景過重，使得軟件交互速度大幅下降，同時影響后續動畫制作環節的效率。事實上，綁定環節造成的速度下降一直是動畫制作流程中的一個頑固痛點。每個動畫制作公司都嘗試使用各種傳統方法來加速綁定解算過程，但由于DCC軟件自身架構的限制，這些嘗試并沒有實現較為顯著的突破。動畫領域中常采用深度學習來進行面部表情生成等操作，如專利公開號為CN112200894A的專利公開了一種基于深度學習框架的數字人面部表情動畫自動遷移方法，運用訓練好的深度學習模型進行表情遷移，一個數字人的控制器參數值輸入網絡模型，得到另一個數字人相同表情對應的控制器參數值，將生成的控制器參數值應用到該數字人模型中，從而驅動該數字人模型上的網絡3D空間頂點位置。通過自動遷移代替人工操作，極大地提高虛擬人物動畫生產效率。上述專利僅適用于表情遷移，即解決retargeting的問題，但在動畫rigger領域中仍未有加速綁定的突出改進。

發明內容

本發明的目的是提供一種基于神經網絡的面部動畫綁定加速方法，模擬逼近控制器驅動的面部Mesh變形，代替原始復雜的綁定方法。

本發明提供了如下的技術方案：

本申請提出一種基于神經網絡的面部動畫綁定加速方法，包括以下步驟：

S1.訓練數據生成，以原始綁定文件中的基本面部表情庫為基礎隨機生成訓練數據，訓練數據包括多組控制器的值和與之對應的Mesh頂點的值；

S2.神經網絡搭建，神經網絡包括多層依次連接的全連接層和PCA層，PCA層用于計算訓練數據的主成分值，得到多個混合變形器，多個全連接層輸入為控制器的值，輸出為多個混合變形器的系數組成的多維向量；

S3.訓練網絡模型，用于通過建立回歸任務，采用代價函數進行誤差計算，得到損失最小化時的神經網絡模型，所述代價函數采用均方誤差；

S4.通過動畫軟件編寫插件，將所述插件與原始綁定文件中的控制器相結合，并利用訓練好的網絡模型，組合形成新的綁定文件。

優先地，步驟S1中，訓練數據生成方法具體包括以下步驟：

S11.以基本面部表情庫為基礎，獲取面部控制器列表；

S12.獲取各個控制器的值和取值范圍；

S13.在控制器的取值范圍內，隨機改變k個控制器的值并重復n次，生成n組新的控制器組合；

S14.令k = k + 1，n = n - i，重復步驟S13，直至k與控制器的數量相等；

S15.隨機改變后生成的所有控制器組合導入動畫軟件中，并獲取對應的Mesh頂點坐標，即每組控制器的值和Mesh頂點的值一一對應；

其中，k、n和i均為大于0的整數。