[發(fā)明專利]虛擬形象生成方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211258254.4
• 申請(qǐng)日: 2022-10-13
• 公開（公告）號(hào): CN115631268A
• 公開（公告）日: 2023-01-20
• 發(fā)明（設(shè)計(jì)）人: 唐旻杰;梁超;陳蘇全;王開新;陳云琳
• 申請(qǐng)（專利權(quán)）人: 出門問問創(chuàng)新科技有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06N3/0475;G06N3/0464;G06N3/0442;G06N3/08;G10L13/08
• 代理公司: 北京睿派知識(shí)產(chǎn)權(quán)代理有限公司 11597
• 代理人: 劉鋒;趙紅霞

1.一種虛擬形象生成方法，其特征在于，所述方法包括：

獲取文本信息；

對(duì)所述文本信息進(jìn)行語(yǔ)音合成，生成所述文本信息對(duì)應(yīng)的音頻特征；

基于預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型根據(jù)所述音頻特征確定面部特征點(diǎn)；

根據(jù)所述面部特征點(diǎn)生成目標(biāo)虛擬形象。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成所述文本信息對(duì)應(yīng)的音頻特征包括：

對(duì)所述文本信息進(jìn)行預(yù)處理，確定所述文本信息對(duì)應(yīng)的語(yǔ)素信息；

確定所述語(yǔ)素信息對(duì)應(yīng)的拼音信息；

基于預(yù)設(shè)的拼音與音素的映射關(guān)系確定所述拼音信息對(duì)應(yīng)的音素信息，以確定所述文本信息對(duì)應(yīng)的音素信息；

根據(jù)所述音素信息和預(yù)設(shè)的語(yǔ)音合成模型確定所述文本信息對(duì)應(yīng)的音頻特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型包括編碼模塊、面部特征生成模塊和解碼模塊，所述基于預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型根據(jù)所述音頻特征確定面部特征點(diǎn)包括：

基于所述編碼模塊對(duì)所述音頻特征進(jìn)行編碼，確定所述音頻特征對(duì)應(yīng)的語(yǔ)音特征編碼；

基于所述面部特征模塊確定所述語(yǔ)音特征編碼對(duì)應(yīng)的面部特征；

基于所述解碼模塊對(duì)所述面部特征進(jìn)行解碼，確定所述音頻特征對(duì)應(yīng)的面部特征點(diǎn)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述編碼模塊基于殘差網(wǎng)絡(luò)確定，所述面部特征模塊基于循環(huán)神經(jīng)網(wǎng)絡(luò)確定，所述解碼模塊包括全連接層。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述面部特征點(diǎn)生成目標(biāo)虛擬形象包括：

根據(jù)所述面部特征點(diǎn)繪制人臉草圖；

將所述人臉草圖和真實(shí)形象圖片輸入至預(yù)設(shè)的生成器網(wǎng)絡(luò)模塊，以確定所述目標(biāo)虛擬形象。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所述目標(biāo)虛擬形象輸入至預(yù)設(shè)的鑒別器網(wǎng)絡(luò)模塊，以對(duì)所述目標(biāo)虛擬形象的真實(shí)性進(jìn)行驗(yàn)證。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)所述目標(biāo)虛擬形象與音頻信息進(jìn)行拼接，確定所述目標(biāo)虛擬形象的視頻圖像。

8.一種虛擬形象生成裝置，其特征在于，所述裝置包括：

文本單元，用于獲取文本信息；

音頻特征單元，用于對(duì)所述文本信息進(jìn)行語(yǔ)音合成，生成所述文本信息對(duì)應(yīng)的音頻特征；

面部特征單元，用于基于預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型根據(jù)所述音頻特征確定面部特征點(diǎn)；

虛擬形象單元，用于根據(jù)所述面部特征點(diǎn)生成目標(biāo)虛擬形象。

9.一種電子設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器用于存儲(chǔ)一條或多條計(jì)算機(jī)程序指令，其中，所述一條或多條計(jì)算機(jī)程序指令被所述處理器執(zhí)行以實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的方法步驟。