[發明專利]一種基于深度學習的面部動作捕捉方法及系統

有效

• 申請號: 202210023895.5
• 申請日: 2022-01-11
• 公開（公告）號: CN114049678B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 劉逸穎;李太豪;阮玉平;馬詩潔;鄭書凱
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V20/40;G06V10/82;G06V10/774;G06K9/62;G06N3/04;G06T13/40
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 奚麗萍

1.一種基于深度學習的面部動作捕捉方法，其特征在于，包括以下步驟：

S1：使用深度相機采集人臉的視頻數據和對應的深度數據，構建數據集；

S2：構建面部動作識別網絡，使用所述數據集進行面部動作識別網絡訓練；所述面部動作識別網絡包括特征提取網絡、Transformer和全連接網絡串聯；

S3：將任意視頻序列輸入訓練后的面部動作識別網絡，預測混合形狀系數；所述特征提取網絡對任意視頻序列的每幀圖像進行特征提取，并編碼為一個特征向量，所述特征向量與任意視頻序列的視頻幀位置編碼進行連接作為所述面部動作識別網絡的輸入，用于構建人臉表情在時序上的關聯性，全連接層使用Sigmoid作為激活函數，輸出預測混合形狀系數；

S4：將所述預測混合形狀系數應用于任意的虛擬形象上，驅動虛擬形象的面部動作。

2.如權利要求1所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述S1中所述構建數據集包括以下子步驟：

S11：構建每個所述人臉的視頻數據中人臉的混合模型：根據深度圖重建中性表情下的3D人臉模型，并利用網格形變遷移算法得到混合形狀模型，其中混合形狀模型包含了一個中性表情B₀和n個表情基(B₁,…,B_n)；

S12：檢測所述人臉的視頻數據中每一幀的人臉關鍵點，并根據所述深度數據獲得所述人臉關鍵點的三維坐標；

S13：根據所述人臉關鍵點的三維坐標和所述混合形狀模型上的對應的頂點，計算所述混合形狀模型與相機坐標系下人臉的旋轉平移矩陣。

3.如權利要求1所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述S3所述面部動作識別網絡的輸入為任意視頻序列，輸出為視頻每一幀對應的預測混合形狀系數。

4.如權利要求1所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述特征提取網絡為卷積神經網絡結構。

5.如權利要求2所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述S2中面部動作識別網絡訓練過程中包括擬合當前幀的3D人臉，公式為：

其中，為混合形狀系數，；為最終生成的對應于輸入人臉的視頻數據的3D人臉，是中性表情人臉模型，-是人臉模型的不同表情基，表示不同表情和中性表情之間的頂點偏移量，將擬合當前幀的3D人臉與當前幀中的人臉在空間上對齊，得到變換后的3D人臉，公式為：

其中，R為3×3的旋轉矩陣，T為1×3的平移矩陣。

6.如權利要求5所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述S2中面部動作識別網絡訓練的過程中，由擬合損失和時間連續性損失構成的損失函數進行反向傳播，學習網絡參數，表達式為：

其中，為擬合損失，為時間連續性損失，衡量了的比重。

7.如權利要求6所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述擬合損失為所述變換后的3D人臉上的關鍵點與所述深度數據獲得所述人臉關鍵點的三維坐標之間的歐式距離：

其中，大小為k×3，為擬合當前幀的3D人臉上的關鍵點的三維坐標，大小為k×3，為當前幀由深度數據獲得所述人臉關鍵點的三維坐標，k為關鍵點的數量。

8.如權利要求6所述的一種基于深度學習的面部動作捕捉方法，其特征在于，所述時間連續性損失為相鄰幀之間的平滑誤差，表達式為：

其中，為網絡預測的當前幀的網絡輸出，為網絡預測的前1幀的網絡輸出，為網絡預測的前2幀的網絡輸出。

9.一種根據權利要求1所述的一種基于深度學習的面部動作捕捉方法的一種基于深度學習的面部動作捕捉系統，其特征在于，包括以下模塊：

視頻采集模塊，用于采集人臉的視頻數據和對應的深度數據，構建數據集；

網絡訓練模塊，用于使用數據集進行面部動作識別網絡訓練；

面部動作預測模塊，用于將任意視頻序列輸入訓練后的網絡訓練模塊，預測混合形狀系數；

虛擬形象動畫展示模塊，用于將所述預測混合形狀系數應用于虛擬形象，實時展示視頻中人臉的面部表情。