[發明專利]二維到三維人臉表情遷移方法、電子裝置及存儲介質

在審

• 申請號: 202210430797.3
• 申請日: 2022-04-22
• 公開（公告）號: CN114926581A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 白澤琛;陳輝;姚乃明;王宏安
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/16;G06V10/82
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明公開了一種二維到三維人臉表情遷移方法、電子裝置及存儲介質，屬于計算機視覺領域。該方法包括：獲取真實交互場景下的二維人臉圖像作為源表情表示，虛擬交互場景下的三維人臉形變模型作為目標三維人臉表情表示；為二維人臉圖像提取人臉三維參數；基于人臉三維參數中的表情參數，通過融合變形系數估計模型獲取目標表情的融合變形系數；依據所得目標表情融合變形系數驅動三維人臉模型生成目標表情表示。本發明能夠有效提取人臉表情相關參數，緩解人臉表情從二維空間到三維空間的跨維度難題；將表情參數變換至目標融合變形系數，保證了該方法的廣泛適用性。本方法可實現準確、快速的人臉表情遷移，可用于提升動畫師在進行三維人臉建模與創作過程中的工作效率。

技術領域

本發明屬于計算機視覺和三維建模的相關技術領域，特別涉及一種二維到三維人臉表情遷移方法、電子裝置及存儲介質。

背景技術

人臉形象在日常生活中起著至關重要的作用，它反映了每個人的基本身份特征。同時，豐富的面部表情能夠傳遞一個人的情感和精神狀態，表達十分豐富的社會文化意義。在虛擬環境中，如果虛擬人能夠準確地模仿人類的面部表情，將會大大縮短虛擬人和真實人類之間的距離。隨著元宇宙等新概念的提出，虛擬現實和人工智能成為未來技術發展的兩大基石。人們希望在計算機模擬的虛擬環境中，能夠可以像真實人類一樣同虛擬人進行交流與互動。在實現這一目標過程中，賦予虛擬人更加豐富的表情是非常重要的一步。豐富的面部表情可以極大地提升虛擬人的真實度和表現力，給予用戶更為沉浸的體驗，讓交互行為更有意義。

目前，在絕大多數虛擬現實應用中，三維虛擬人的表情建模與動畫創作需要依賴三維動畫設計師手工完成。具體來講，設計師需要首先為三維虛擬人創作一組基于模型形變的融合變形表情基模型來表現面部肌肉運動。在創作表情動畫過程中，設計師需要手動設定一組融合變形系數，然后反復觀察、評估和調整這一套系數對應的表情效果。這種試錯的方式需要消耗極大的時間和精力，創作效率極受限制。其中，融合變形(blendshape)是對三維模型的單個網格變形以實現大量預定義形狀和任何數量之間組合的技術。

人臉表情遷移技術能夠將已有表情從現有模型遷移到新模型上，為模型創建新的面部表情動畫。該技術降低了為新模型制作表情動畫的時間成本，大大提升了制作效率，為高真實感人臉表情動畫的合成提供了新的思路。相比于三維人臉表情，二維的人臉表情圖像具有分布范圍廣、資源豐富的特點。將二維人臉表情遷移到三維人臉模型上，是一項非常具有現實意義的技術，同時也是一個非常富有挑戰的問題。

目前二維到三維人臉表情遷移相關的發明研究還相對較少，與該問題密切相關的一個任務是基于二維真實人臉圖像的三維游戲角色自動生成。

中國專利申請CN201811556498.4(CN109636886A)中提供了一種圖像的處理方法和相關裝置，該方法將真實場景人臉作為第一面部圖像，將基于捏臉參數渲染得到的虛擬場景人臉作為第二面部圖像，通過度量第一面部圖像和第二面部圖像之間的相似度，對捏臉參數進行多次調整，從而實現捏臉參數估計的目標。該方法需要多輪次的迭代式操作，實用性欠佳。

中國專利申請CN201911014108.5(CN110717977A)中提供了一種游戲角色面部處理方法和相關裝置，該方法首先獲取真實人臉圖像的身份信息和內容特征信息，并基于這些信息預測目標捏臉參數，并渲染生成虛擬圖像。該方法通過最小化真實人臉圖像和渲染虛擬圖像之間的身份信息以及內容特征信息的差異來進行優化。該方法得到弊端在于，往往需要多張人臉圖像才能達到比較好的效果。

這類方法對于二維到三維人臉表情遷移有一定啟發和借鑒意義，但他們共同的弊端在于，捏臉過程中的身份信息和表情信息耦合在一起，無法實現靈活的人臉表情遷移。然而在實際的人臉表情遷移應用中，往往要求固定三維人臉模型的身份信息，只需要遷移表情信息。

基于以上背景，構建一套可操作性強、適用范圍廣的二維到三維人臉表情遷移方法及裝置，是目前該領域亟需解決的問題。

發明內容