[發明專利]一種虛擬角色的面部表情、肢體動作的生成方法和裝置

在審

• 申請號: 202111083019.3
• 申請日: 2021-09-15
• 公開（公告）號: CN113920559A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 胡瑛皓;趙明璧;李鋒;銀星茜;謝柳
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06F40/289;G06F40/30
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

本公開涉及一種虛擬角色的面部表情、肢體動作的生成方法和裝置。包括：獲取文本數據；將所述文本數據輸入至韻律模型，經所述韻律模型，輸出與所述文本數據相匹配的面部表情或肢體動作，其中，所述韻律模型被設置為根據樣本文本數據的語義特征與面部表情、肢體動作的對應關系訓練獲得；將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。相較于現有技術中，語義信息更能傳達出表達著的情感或意圖信息，因此，能夠準確的預測出虛擬角色的面部表情或肢體動作。

技術領域

本公開涉及計算機技術領域，尤其涉及一種虛擬角色的面部表情、肢體動作的生成方法和裝置。

背景技術

在虛擬現實、游戲娛樂、可視電話、和電影特效等行業常常會創建虛擬角色，在虛擬角色的創建過程中，需要利用人像驅動技術為虛擬角色配置與講話的內容相匹配的面部表情和肢體動作。相關技術中，基于基底動畫的模式，為虛擬角色匹配相應的表情或動作，例如，預先采集一些動作片段，然后隨機重讀播放某個動作片段，該方式生成的面部表情或肢體動作極不自然。還有采用基于規則的表情、動作的生成方法，該方法會根據語音信號，基于一些特定的規則，觸發對應的表情，由于觸發條件比較固定，仍然會造成面部表情或肢體動作的不自然。

因此，亟需一種能夠準確的生成虛擬角色面部表情、肢體動作的生成方法。

發明內容

為克服相關技術中存在的至少一個問題，本公開提供一種虛擬角色的面部表情、肢體動作的生成方法和裝置。

根據本公開實施例的第一方面，提供一種一種虛擬角色的面部表情、肢體動作的生成方法，包括：

獲取文本數據；

將所述文本數據輸入至韻律模型，經所述韻律模型，輸出與所述文本數據相匹配的面部表情或肢體動作，其中，所述韻律模型被設置為根據樣本文本數據的語義特征與面部表情、肢體動作的對應關系訓練獲得；

將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。

在一種可能的實現方式中，所述將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作，包括：

獲取所述文本數據對應的音頻數據；

根據所述音頻數據詞語的時間信息，確定與所述詞語相匹配的面部表情、肢體動作的時間信息；

根據所述時間信息，將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。

在一種可能的實現方式中，將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作，包括：

獲取與所述面部表情相匹配的表情參數和與所述肢體動作相匹配的動作參數；

根據所述表情參數和所述動作參數調整視頻序列中虛擬角色的像素位置，生成所述虛擬角色的面部表情、肢體動作。

在一種可能的實現方式中，所述將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作，包括：

在所述文本數據中連續多個詞語均存在匹配的面部表情或肢體動作的情況下，調整所述面部表情或所述肢體動作；

將調整后的所述面部表情或所述肢體動作配準到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。

在一種可能的實現方式中，所述調整所述面部表情或所述肢體動作，包括：

獲取所述連續多個詞語中預設位置的詞語所匹配的面部表情或肢體動作，剔除除所述預設位置以外的詞語所匹配的面部表情或肢體動作。