[發(fā)明專利]虛擬形象合成方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011301793.2
• 申請日: 2020-11-19
• 公開（公告）號: CN112465935A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計）人: 李林;何山;胡金水;殷兵;劉聰
• 申請（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 程琛

1.一種虛擬形象合成方法，其特征在于，包括：

確定待合成的語音數(shù)據(jù)的語音特征，以及與所述語音特征相對應(yīng)的面部表情特征；

對所述語音特征和所述面部表情特征進行融合，基于融合所得的特征合成表情與所述語音數(shù)據(jù)相匹配的虛擬形象視頻。

2.根據(jù)權(quán)利要求1所述的虛擬形象合成方法，其特征在于，所述對所述語音特征和所述面部表情特征進行融合，包括：

基于融合權(quán)重對所述語音特征和所述面部表情特征進行加權(quán)融合，所述融合權(quán)重是基于所述語音特征確定的。

3.根據(jù)權(quán)利要求2所述的虛擬形象合成方法，其特征在于，所述基于融合權(quán)重對所述語音特征和所述面部表情特征進行加權(quán)融合，包括：

對所述語音特征進行特征提取，得到所述融合權(quán)重以及語音特征圖；

對所述面部表情特征進行特征提取，得到與所述語音特征圖相同維度的表情特征圖；

基于所述融合權(quán)重，對所述語音特征圖和所述表情特征圖進行加權(quán)求和。

4.根據(jù)權(quán)利要求1所述的虛擬形象合成方法，其特征在于，所述基于融合所得的特征合成表情與所述語音數(shù)據(jù)相匹配的虛擬形象視頻，包括：

對虛擬形象掩膜圖像進行特征編碼，得到掩膜圖像特征；

基于所述掩膜圖像特征與融合所得的特征，確定整體形象特征；

對所述整體形象特征進行特征解碼，得到所述虛擬形象視頻。

5.根據(jù)權(quán)利要求1至4中任一項所述的虛擬形象合成方法，其特征在于，所述對所述語音特征和所述面部表情特征進行融合，基于融合所得的特征合成表情與所述語音數(shù)據(jù)相匹配的虛擬形象視頻，包括：

將所述語音特征和所述面部表情特征輸入至形象合成模型，得到所述形象合成模型輸出的所述虛擬形象視頻；

其中，所述形象合成模型是基于樣本語音特征及其相對應(yīng)的樣本面部表情特征，以及形象判別模型訓(xùn)練得到的，所述形象判別模型用于區(qū)分虛擬形象和真實形象。

6.根據(jù)權(quán)利要求1至4中任一項所述的虛擬形象合成方法，其特征在于，所述與所述語音特征相對應(yīng)的面部表情特征是基于如下步驟確定的：

將所述語音特征輸入至表情映射模型，得到所述表情映射模型輸出的與所述語音特征相對應(yīng)的面部表情特征；

其中，所述表情映射模型是基于樣本語音特征及其相對應(yīng)的樣本面部表情特征訓(xùn)練得到的，所述樣本面部表情特征是基于樣本三維人臉模型確定的，所述樣本三維人臉模型是基于真實人臉視頻構(gòu)建的。

7.根據(jù)權(quán)利要求6所述的虛擬形象合成方法，其特征在于，所述面部表情特征包括人臉表情參數(shù)和/或口唇關(guān)鍵點坐標；

所述表情映射模型的損失函數(shù)是基于預(yù)測人臉表情參數(shù)與樣本人臉表情參數(shù)之差，和/或預(yù)測口唇關(guān)鍵點坐標與樣本口唇關(guān)鍵點坐標之差確定的；

所述預(yù)測人臉表情參數(shù)和所述預(yù)測口唇關(guān)鍵點坐標是所述表情映射模型基于所述樣本語音特征確定的。

8.一種虛擬形象合成裝置，其特征在于，包括：

特征獲取單元，用于確定待合成的語音數(shù)據(jù)的語音特征，以及與所述語音特征相對應(yīng)的面部表情特征；

融合生成單元，用于對所述語音特征和所述面部表情特征進行融合，基于融合所得的特征合成表情與所述語音數(shù)據(jù)相匹配的虛擬形象視頻。

9.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至7任一項所述虛擬形象合成方法的步驟。

10.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述虛擬形象合成方法的步驟。