[發明專利]表情重定向方法、裝置、設備和介質

在審

• 申請號: 202110412843.2
• 申請日: 2021-04-16
• 公開（公告）號: CN113066156A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 李團輝
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種表情重定向方法，其特征在于，包括：

實時獲取直播視頻幀中的人臉圖像，并根據標準表情基組確定與所述人臉圖像對應的標準表情系數；

確定與所述標準表情系數對應的個性化表情系數，其中，所述個性化表情系數與預先生成的目標個性化虛擬形象表情基組是匹配的；

將所述個性化表情系數使用到所述目標個性化虛擬形象表情基組上，以驅動與所述目標個性化虛擬形象表情基組對應的個性化虛擬形象的表情。

2.根據權利要求1所述的方法，其特征在于，在實時獲取直播視頻幀中的人臉圖像之前，還包括：

獲取包括多種面部表情動作的多視角視頻數據，并確定所述多視角視頻數據中的主視角視頻數據；

根據所述標準表情基組確定與所述主視角視頻數據的每個視頻幀中的人臉圖像分別對應的標準表情系數；

根據與所述多視角視頻數據對應的三維網格流數據、與所述每個視頻幀中的人臉圖像分別對應的標準表情系數，以及表情基組模板，拆解得到所述目標個性化虛擬形象表情基組。

3.根據權利要求2所述的方法，其特征在于，所述確定與所述標準表情系數對應的個性化表情系數，包括：

將所述標準表情系數作為所述個性化表情系數。

4.根據權利要求1所述的方法，其特征在于，在實時獲取直播視頻幀中的人臉圖像之前，還包括：

獲取包括多種面部表情動作的多視角視頻數據中的多個圖像幀；

根據與所述多個圖像幀對應的三維網格流數據，以及表情基組模板，拆解得到所述目標個性化虛擬形象表情基組。

5.根據權利要求4所述的方法，其特征在于，所述確定與所述標準表情系數對應的個性化表情系數，包括：

將所述標準表情系數映射成所述個性化表情系數。

6.根據權利要求5所述的方法，其特征在于，所述將所述標準表情系數映射成所述個性化表情系數，包括：

將所述標準表情系數輸入目標神經網絡中，通過所述目標神經網絡輸出所述個性化表情系數；

其中，所述目標神經網絡是基于表情系數訓練數據預先訓練而生成的；

所述表情系數訓練數據包括：根據所述標準表情基組確定與所述多視角視頻數據中主視角視頻數據的每個視頻幀中的人臉圖像分別對應的標準表情系數，以及根據所述目標個性化虛擬形象表情基組確定的與所述多視角視頻數據的每個視頻幀中的人臉圖像分別對應的個性化表情系數。

7.根據權利要求1所述的方法，其特征在于，在實時獲取直播視頻幀中的人臉圖像之前，還包括：

響應于個性化虛擬形象選擇請求，確定與所述個性化虛擬形象選擇請求匹配的預先生成的所述目標個性化虛擬形象表情基組。

8.一種表情重定向裝置，其特征在于，包括：

標準表情系數確定模塊，用于實時獲取直播視頻幀中的人臉圖像，并根據標準表情基組確定與所述人臉圖像對應的標準表情系數；

個性化表情系數確定模塊，用于確定與所述標準表情系數對應的個性化表情系數，其中，所述個性化表情系數與預先生成的目標個性化虛擬形象表情基組是匹配的；

表情重定向模塊，用于將所述個性化表情系數使用到所述目標個性化虛擬形象表情基組上，以驅動與所述目標個性化虛擬形象表情基組對應的個性化虛擬形象的表情。

9.一種計算機設備，其特征在于，所述計算機設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一所述的方法。