[發明專利]人臉表情的重建方法、裝置、設備和存儲介質

在審

• 申請號: 202111503555.4
• 申請日: 2021-12-09
• 公開（公告）號: CN114202615A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 姚粵漢;張雄;彭國柱
• 申請（專利權）人: 廣州方硅信息技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06T7/80;G06V40/16;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 賈小慧

本申請提供了一種人臉表情的重建方法、裝置、設備和存儲介質，獲取人臉圖像；將人臉圖像輸入至預先訓練好的深度神經網絡模型，以輸出人臉圖像的表情系數和拍攝參數；其中表情系數表示各基本表情模板的權重，權重的取值大于等于零，且至少有一個權重的取值大于零，因此根據表情系數就可以從預設的基本表情模板庫中選擇出至少一個基本表情模板；根據表情系數、至少一個基本表情模板和拍攝參數進行人臉表情重建。該方法基于深度學習的方式對單張人臉圖像進行人臉表情捕捉，一方面得到的表情系數和拍攝參數非常準確，以使后續對人臉表情重建時得到的結果更加精確，另一方面避免了不需要對像傳統模型一樣需要大量優化，大大減少了計算量。

技術領域

本申請涉及網絡直播技術領域，具體涉及一種人臉表情的重建方法、裝置、設備和存儲介質。

背景技術

隨著計算機視覺技術的發展，人臉表情重建在包括游戲、直播、AR等領域已經有了廣泛的應用。目前的人臉表情重建根據輸入數據的不同，大致可以分為兩類：基于深度圖像的人臉表情捕捉方法和基于單張圖片的人臉表情捕捉方法。其中，基于深度圖像的人臉表情捕捉方法往往需要昂貴的深度攝像頭設備，而基于單張圖片的人臉表情重建方法雖然設備簡單，但需要額外的關鍵點檢測和復雜的優化計算過程，操作非常復雜且效率低。

發明內容

有鑒于此，本申請實施例中提供了一種人臉表情的重建方法、裝置、設備和存儲介質。

第一方面，本申請實施例提供了一種人臉表情的重建方法，該方法包括：

獲取人臉圖像；

將所述人臉圖像輸入至預先訓練好的深度神經網絡模型，以輸出人臉圖像的表情系數和拍攝參數；

根據所述表情系數從預設的基本表情模板庫中選擇出至少一個基本表情模板；

根據所述表情系數、至少一個所述基本表情模板和所述拍攝參數進行人臉表情重建。

第二方面，本申請實施例提供了一種人臉表情的重建裝置，該裝置包括：

人臉圖像獲取模塊，用于獲取人臉圖像；

系數及參數輸出模塊，用于將所述人臉圖像輸入至預先訓練好的深度神經網絡模型，以輸出人臉圖像的表情系數和拍攝參數；

模板選擇模塊，用于根據所述表情系數從預設的基本表情模板庫中選擇出至少一個基本表情模板；

人臉表情重建模塊，用于根據所述表情系數、至少一個所述基本表情模板和所述拍攝參數進行人臉表情重建。

第三方面，本申請實施例提供了一種終端設備，包括：存儲器；一個或多個處理器，與所述存儲器耦接；一個或多個應用程序，其中，一個或多個應用程序被存儲在存儲器中并被配置為由一個或多個處理器執行，一個或多個應用程序配置用于執行上述第一方面提供的人臉表情的重建方法。

第四方面，本申請實施例提供了一種計算機可讀取存儲介質，計算機可讀取存儲介質中存儲有程序代碼，程序代碼可被處理器調用執行上述第一方面提供的人臉表情的重建方法。

本申請實施例提供的人臉表情的重建方法、裝置、設備和存儲介質，首先獲取人臉圖像；然后將人臉圖像輸入至預先訓練好的深度神經網絡模型，以輸出人臉圖像的表情系數和拍攝參數；其中表情系數表示各基本表情模板的權重，權重的取值大于等于零，且至少有一個權重的取值大于零，因此根據表情系數就可以從預設的基本表情模板庫中選擇出至少一個基本表情模板；最后根據表情系數、至少一個基本表情模板和拍攝參數進行人臉表情重建。

該人臉表情的重建方法基于深度學習的方式對單張人臉圖像進行人臉表情捕捉，一方面得到的表情系數和拍攝參數非常準確，以使后續對人臉表情重建時得到的結果更加精確，另一方面避免了不需要對像傳統模型一樣需要大量優化，大大減少了計算量。

附圖說明