[發明專利]虛擬形象的生成方法、裝置、電子設備和存儲介質

有效

• 申請號: 202211326579.1
• 申請日: 2022-10-27
• 公開（公告）號: CN115439614B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 劉聰;胡詩卉;何山;周良;胡金水;殷兵
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T13/40;G06V10/774;G06V10/80;G06V20/40;G06V40/16;G10L25/03
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 尚文文

1.一種虛擬形象的生成方法，其特征在于，包括：

從目標用戶的音頻數據中提取得到音素特征，以及從與所述音頻數據同步的視頻數據中提取得到面部表情特征；所述面部表情特征包括所述目標用戶的面部特征點和面部表情類別；

基于所述音素特征和所述面部表情特征，解算得到所述目標用戶的面部表情參數序列；

利用所述面部表情參數序列驅動所述目標用戶對應的三維虛擬形象模型，生成所述目標用戶對應的虛擬形象。

2.根據權利要求1所述的方法，其特征在于，從目標用戶的音頻數據中提取得到音素特征，包括：

從所述音頻數據中提取得到語音數據段和靜音數據段；

對所述語音數據段和所述靜音數據段進行音素編碼，得到所述語音數據段的音素編碼和所述靜音數據段的音素編碼；

拼接所述語音數據段的音素編碼和所述靜音數據段的音素編碼，得到音素特征。

3.根據權利要求1所述的方法，其特征在于，從與所述音頻數據同步的視頻數據中提取得到面部表情特征，包括：

將與所述音頻數據同步的視頻數據輸入預先訓練的面部表情特征提取模型，得到面部表情特征；

其中，所述面部表情特征提取模型是以樣本視頻數據為第一訓練樣本，以樣本視頻數據對應的面部特征點和面部表情類別為第一標簽訓練得到的。

4.根據權利要求1所述的方法，其特征在于，基于所述音素特征和所述面部表情特征，解算得到所述目標用戶的面部表情參數序列，包括：

將所述音素特征和所述面部表情特征進行拼接，得到拼接特征；

將所述拼接特征輸入預先訓練的面部表情參數解算模型，得到所述目標用戶的面部表情參數序列；

其中，所述面部表情參數解算模型是以樣本音視頻數據中提取的音素特征和面部表情特征的拼接特征為第二訓練樣本，以所述樣本音視頻數據對應的面部表情參數序列為第二標簽訓練得到的。

5.根據權利要求4所述的方法，其特征在于，所述樣本音視頻數據為設定人員講話的音視頻數據；其中，所述設定人員講話的內容覆蓋所有音素。

6.根據權利要求1所述的方法，其特征在于，從與所述音頻數據同步的視頻數據中提取得到面部表情特征之后，還包括：對所述面部表情特征進行特征降維處理。

7.根據權利要求6所述的方法，其特征在于，對所述面部表情特征進行特征降維處理，包括：

利用主成分分析方法對所述面部表情特征進行降維，得到面部表情主成分編碼；

利用多項式核函數對所述面部表情主成分編碼進行非線性映射，得到處理后的面部表情特征。

8.一種虛擬形象的生成裝置，其特征在于，包括：

提取模塊，用于從目標用戶的音頻數據中提取得到音素特征，以及從與所述音頻數據同步的視頻數據中提取得到面部表情特征；所述面部表情特征包括所述目標用戶的面部特征點和面部表情類別；

結算模塊，用于基于所述音素特征和所述面部表情特征，解算得到所述目標用戶的面部表情參數序列；

生成模塊，用于利用所述面部表情參數序列驅動所述目標用戶對應的三維虛擬形象模型，生成所述目標用戶對應的虛擬形象。

9.一種電子設備，其特征在于，包括：

存儲器和處理器；

其中，所述存儲器用于存儲程序；

所述處理器，用于通過運行所述存儲器中的程序，實現如權利要求1至7中任意一項所述的虛擬形象的生成方法。

10.一種存儲介質，其特征在于，包括：所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現如權利要求1至7中任意一項所述的虛擬形象的生成方法。