[發明專利]一種生成目標角色的動畫表情的方法和系統

在審

• 申請號: 202011219692.0
• 申請日: 2020-11-04
• 公開（公告）號: CN112330780A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 渠思源
• 申請（專利權）人: 北京慧夜科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/04;G06N3/08
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

1.一種生成目標角色的動畫表情的方法，所述方法由至少一個處理器執行，所述方法包括：

獲取待預測臺詞文本；

使用訓練好的表情生成模型處理所述待預測臺詞文本，得到與所述待預測臺詞文本對應的表情編碼，以使用所述表情編碼基于映射關系獲取與所述動畫表情對應的表情參數，并基于所述表情參數確定所述目標角色的動畫表情；其中，所述表情編碼用于表示所述動畫表情的類別；

所述目標角色包括：動畫角色、虛擬偶像、聊天機器人或者網站的在線客服；

其中：所述表情生成模型包括臺詞特征提取模型和表情編碼生成模型，所述表情編碼生成模型用于基于所述臺詞特征提取模型輸出的臺詞特征向量獲取與所述待預測臺詞文本對應的所述表情編碼。

2.根據權利要求1所述的方法，其中，所述表情生成模型通過以下方式獲得：

獲取多個訓練樣本；其中，所述訓練樣本包括訓練臺詞文本以及與所述訓練臺詞文本對應的表情編碼；

將所述訓練臺詞文本作為輸入數據；將所述表情編碼作為標簽；

利用所述多個訓練樣本訓練初始表情生成模型，獲得訓練好的表情生成模型。

3.根據權利要求2所述的方法，其中，所述表情編碼、所述映射關系、所述表情參數，以及所述訓練臺詞文本通過以下方式獲得：

使用面部捕捉設備從真人表演和/或包含面部動作的視頻中獲取多種動畫表情的表情參數；

對所述多種動畫表情進行編碼，得到所述表情編碼；

建立所述表情編碼與所述表情參數的映射關系；

以文本形式保存所述真人表演和/或所述視頻中使用的臺詞作為所述訓練臺詞文本。

4.根據權利要求1所述的方法，其中，所述臺詞特征提取模型和所述表情編碼生成模型均包括循環神經網絡。

5.根據權利要求4所述的方法，其中，所述表情編碼生成模型為雙層帶注意力機制的LSTM模型。

6.一種生成目標角色的動畫表情的系統，其中，包括臺詞獲取模塊和表情編碼獲取模塊；

所述臺詞獲取模塊用于獲取待預測臺詞文本；

所述表情編碼獲取模塊用于使用訓練好的表情生成模型處理所述待預測臺詞文本，得到與所述待預測臺詞文本對應的表情編碼，以使用所述表情編碼基于映射關系獲取與所述動畫表情對應的表情參數，并基于所述表情參數確定所述目標角色的動畫表情；其中，所述表情編碼用于表示所述動畫表情的類別；

所述目標角色包括：動畫角色、虛擬偶像、聊天機器人或者網站的在線客服；

其中：所述表情生成模型包括臺詞特征提取模型和表情編碼生成模型，所述表情編碼生成模型用于基于所述臺詞特征提取模型輸出的臺詞特征向量獲取與所述待預測臺詞文本對應的所述表情編碼。

7.根據權利要求6所述的系統，其中，所述表情生成模型通過以下方式獲得：

獲取多個訓練樣本；其中，所述訓練樣本包括訓練臺詞文本以及與所述訓練臺詞文本對應的表情編碼；

將所述訓練臺詞文本作為輸入數據；將所述表情編碼作為標簽；

利用所述多個訓練樣本訓練初始表情生成模型，獲得訓練好的表情生成模型。

8.根據權利要求7所述的系統，其中，所述表情編碼、所述映射關系、所述表情參數，以及所述訓練臺詞文本通過以下方式獲得：

使用面部捕捉設備從真人表演和/或包含面部動作的視頻中獲取多種動畫表情的表情參數；

對所述多種動畫表情進行編碼，得到所述表情編碼；

建立所述表情編碼與所述表情參數的映射關系；

以文本形式保存所述真人表演和/或所述視頻中使用的臺詞作為所述訓練臺詞文本。

9.根據權利要求6所述的系統，其中，所述臺詞特征提取模型和所述表情編碼生成模型均包括循環神經網絡。

10.一種生成目標角色的動畫表情的裝置，其中，包括處理器和存儲設備，所述存儲設備用于存儲指令，當所述處理器執行指令時，實現如權利要求1～5中任一項所述的方法。