[發明專利]一種基于深度學習的面部動作捕捉方法及系統

有效

• 申請號: 202210023895.5
• 申請日: 2022-01-11
• 公開（公告）號: CN114049678B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 劉逸穎;李太豪;阮玉平;馬詩潔;鄭書凱
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V20/40;G06V10/82;G06V10/774;G06K9/62;G06N3/04;G06T13/40
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 奚麗萍

本發明公開了一種基于深度學習的面部動作捕捉方法及系統，包括以下步驟：S1：使用深度相機采集人臉的視頻數據和對應的深度數據，構建數據集；S2：構建面部動作識別網絡，使用所述數據集進行面部動作識別網絡訓練；S3：將任意視頻序列輸入訓練后的面部動作識別網絡，預測混合形狀系數；S4：將所述預測混合形狀系數應用于任意的虛擬形象上，驅動虛擬形象的面部動作。系統包括視頻采集模塊，網絡訓練模塊，面部動作預測模塊，虛擬形象動畫展示模塊。本發明的算法運行速率高，只在訓練時使用了深度信息進行訓練，在預測階段只需要輸入單相機拍攝的視頻就可以完成動作捕捉，無需額外的深度采集設備，可實時的進行面部動作捕捉。

技術領域

本發明涉及一種計算機視覺、計算機圖形學技術領域，尤其涉及一種基于深度學習的面部動作捕捉方法及系統。

背景技術

面部動作捕捉是動作捕捉技術的一部分，指使用機械裝置、相機等設備記錄人類面部表情和動作，將之轉換為一系列參數數據的過程。與人為制作的動畫角色表情相比，通過捕捉真人面部動作生成的角色會更具真實感，還能大大的降低人工建模的成本。現如今動作捕捉技術已經是影視動畫制作、游戲開發、虛擬現實等領域中必不可少的生產工具。

現在主流的方式可分為：基于二維數據和基于三維數據。前者采用光學鏡頭，通過算法理解人的面部表情及動作，如 Faceware 的頭盔式單相機面部動作捕捉系統，這種方式的優點是成本低、易獲取、使用方便，缺點是捕捉精度與其他方法相比較低；后者通過光學鏡頭獲得二維數據，同時通過額外的手段或設備獲得深度信息，如多目相機、結構光等，如蘋果的Animoji在前置攝像頭旁安裝了紅外相機以采集深度信息，這種方式的處理速度快，精度高，但需要額外的深度采集設備。

為了，我們設計了一種基于深度學習的面部動作捕捉方法及系統以此解決上述技術問題。

發明內容

本發明的目的在于提供一種基于深度學習的面部動作捕捉方法及系統，對于輸入的任意包含人臉的視頻，本方法采用深度學習網絡識別通用的混合形狀模型的權重系數，該識別結果可應用于任意的虛擬形象上，從而驅動虛擬形象的面部動作。

本發明采用的技術方案如下：

一種基于深度學習的面部動作捕捉方法，包括以下步驟：

S1：使用深度相機采集人臉的視頻數據和對應的深度數據，構建數據集；

S2：構建面部動作識別網絡，使用所述數據集進行面部動作識別網絡訓練；

S3：將任意視頻序列輸入訓練后的面部動作識別網絡，預測混合形狀系數；

S4：將所述預測混合形狀系數應用于任意的虛擬形象上，驅動虛擬形象的面部動作。

進一步地，所述S1中所述構建數據集包括以下子步驟：

S11：構建每個所述人臉的視頻數據中人臉的混合模型：根據深度圖重建中性表情下的3D人臉模型，并利用網格形變遷移算法得到混合形狀模型，其中混合形狀模型包含了一個中性表情B₀和n個表情基(B₁,…,B_n)；

S12：檢測所述人臉的視頻數據中每一幀的人臉關鍵點，并根據所述深度數據獲得所述人臉關鍵點的三維坐標；

S13：根據所述人臉關鍵點的三維坐標和所述混合形狀模型上的對應的頂點，計算所述混合形狀模型與相機坐標系下人臉的旋轉平移矩陣。

進一步地，所述S3所述面部動作識別網絡的輸入為任意視頻序列，輸出為視頻每一幀對應的預測混合形狀系數。

進一步地，所述S2所述面部動作識別網絡包括特征提取網絡、Transformer和全連接網絡串聯。