[發明專利]一種虛擬角色的面部表情、肢體動作的生成方法和裝置

在審

• 申請號: 202111083019.3
• 申請日: 2021-09-15
• 公開（公告）號: CN113920559A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 胡瑛皓;趙明璧;李鋒;銀星茜;謝柳
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06F40/289;G06F40/30
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

1.一種虛擬角色的面部表情、肢體動作的生成方法，其特征在于，包括：

獲取文本數據；

將所述文本數據輸入至韻律模型，經所述韻律模型，輸出與所述文本數據相匹配的面部表情或肢體動作，其中，所述韻律模型被設置為根據樣本文本數據的語義特征與面部表情、肢體動作的對應關系訓練獲得；

將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。

2.根據權利要求1所述的方法，其特征在于，所述將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作，包括：

獲取所述文本數據對應的音頻數據；

根據所述音頻數據詞語的時間信息，確定與所述詞語相匹配的面部表情、肢體動作的時間信息；

根據所述時間信息，將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。

3.根據權利要求1所述的方法，其特征在于，將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作，包括：

獲取與所述面部表情相匹配的表情參數和與所述肢體動作相匹配的動作參數；

根據所述表情參數和所述動作參數調整視頻序列中虛擬角色的像素位置，生成所述虛擬角色的面部表情、肢體動作。

4.根據權利要求1所述的方法，其特征在于，所述將所述面部表情和所述肢體動作插入到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作，包括：

在所述文本數據中連續多個詞語均存在匹配的面部表情或肢體動作的情況下，調整所述面部表情或所述肢體動作；

將調整后的所述面部表情或所述肢體動作配準到視頻序列的虛擬角色中，生成所述虛擬角色的面部表情、肢體動作。

5.根據權利要求4所述的方法，其特征在于，所述調整所述面部表情或所述肢體動作，包括：

獲取所述連續多個詞語中預設位置的詞語所匹配的面部表情或肢體動作，剔除除所述預設位置以外的詞語所匹配的面部表情或肢體動作。

6.根據權利要求4所述的方法，其特征在于，所述調整所述面部表情或所述肢體動作，包括：

從所述連續多個詞語中獲取詞語所匹配的預設優先級別最高的面部表情或肢體動作，剔除除所述詞語以外的詞語所匹配的面部表情或肢體動作。

7.根據權利要求1所述的方法，其特征在于，所述韻律模型被設置為根據樣本文本數據的語義特征與樣本面部表情、樣本肢體動作的對應關系訓練獲得，包括：

獲取樣本文本數據，所述樣本文本數據包括多個標注有面部表情、肢體動作的樣本詞語；

構建韻律模型，所述韻律模型中設置有訓練參數；

將所述樣本詞語輸入至所述韻律模型，生成預測結果；

基于所述預測結果與標注的樣本面部表情、樣本肢體動作之間的差異，對所述訓練參數進行迭代調整，直至所述差異滿足預設要求，得到所述韻律模型。

8.根據權利要求7所述的方法，其特征在于，所述樣本文本數據集合包括多個標注有面部表情、肢體動作的樣本詞語，其中，在樣本詞語上標注面部表情、肢體動作的方法，包括：

獲取與樣本文本數據相匹配的樣本音頻數據；

根據樣本文本數據的語義信息，在樣本詞語上標注面部表情、肢體動作，得到初始標注樣本詞語；

根據所述樣本音頻數據的音量信息和語速信息，對所述初始樣本標注詞語進行補充，得到標注樣本詞語。