[發(fā)明專(zhuān)利]多風(fēng)格唇形合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110807540.0
• 申請(qǐng)日: 2021-07-16
• 公開(kāi)（公告）號(hào): CN114022597A
• 公開(kāi)（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 吳昊哲;賈珈;竇義順;段超;鄧清珊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué);華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06T13/20
• 分類(lèi)號(hào): G06T13/20;G06T13/40;G10L15/08;G10L25/30
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 茍冬梅

本申請(qǐng)實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種多風(fēng)格唇形合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在實(shí)現(xiàn)生成包含多樣化、有表現(xiàn)力的風(fēng)格化唇形的說(shuō)話(huà)人動(dòng)畫(huà)。具體方法包括：將目標(biāo)臉像、短時(shí)唇形風(fēng)格視頻以及目標(biāo)音頻輸入多風(fēng)格唇形合成網(wǎng)絡(luò)中；所述多風(fēng)格唇形合成網(wǎng)絡(luò)通過(guò)所述目標(biāo)臉像、所述短時(shí)唇形風(fēng)格視頻以及所述目標(biāo)音頻，得到表情預(yù)測(cè)參數(shù)以及目標(biāo)臉像的形狀參數(shù)；將所述表情預(yù)測(cè)參數(shù)與所述形狀參數(shù)進(jìn)行結(jié)合，得到目標(biāo)風(fēng)格的說(shuō)話(huà)人動(dòng)畫(huà)。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種多風(fēng)格唇形合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

說(shuō)話(huà)人合成就是根據(jù)輸入的音頻，合成音視頻同步的動(dòng)畫(huà)，在電影制作、電話(huà)會(huì)議、人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用前景。現(xiàn)有技術(shù)中，一種方式是首先對(duì)音頻進(jìn)行特征提取，根據(jù)得到的音頻特征，利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)人臉模型的表情參數(shù)序列，進(jìn)而生成說(shuō)話(huà)人視頻。還有一種方式是建模不同說(shuō)話(huà)人的說(shuō)話(huà)風(fēng)格，提取輸入音頻的音頻特征，將音頻特征與不同說(shuō)話(huà)人的特征編碼進(jìn)行結(jié)合，通過(guò)時(shí)域卷積得到表情的形變，將表情的形變與原始的模板相加得到合成的說(shuō)話(huà)人，通過(guò)調(diào)整不同說(shuō)話(huà)人的特征編碼，就可以得到不同風(fēng)格的說(shuō)話(huà)人。

第一種方式存在的問(wèn)題是合成出來(lái)的說(shuō)話(huà)人的說(shuō)話(huà)風(fēng)格單一，達(dá)不到預(yù)期效果，第二種方式雖然建模了不同說(shuō)話(huà)人的風(fēng)格，但是由于同一個(gè)體在不同的場(chǎng)景下的說(shuō)話(huà)風(fēng)格仍有較大差異，對(duì)個(gè)體進(jìn)行建模會(huì)導(dǎo)致合成的說(shuō)話(huà)風(fēng)格缺乏多樣性，進(jìn)而導(dǎo)致說(shuō)話(huà)人的表情、口型缺乏表現(xiàn)力。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種多風(fēng)格唇形合成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在實(shí)現(xiàn)生成包含多樣化、有表現(xiàn)力的風(fēng)格化唇形的說(shuō)話(huà)人動(dòng)畫(huà)。

本申請(qǐng)實(shí)施例第一方面提供一種多風(fēng)格唇形合成方法，所述方法包括：

將目標(biāo)臉像、短時(shí)唇形風(fēng)格視頻以及目標(biāo)音頻輸入多風(fēng)格唇形合成網(wǎng)絡(luò)中；

所述多風(fēng)格唇形合成網(wǎng)絡(luò)通過(guò)所述目標(biāo)臉像、所述短時(shí)唇形風(fēng)格視頻以及所述目標(biāo)音頻，得到表情預(yù)測(cè)參數(shù)以及目標(biāo)臉像的形狀參數(shù)；

將所述表情預(yù)測(cè)參數(shù)與所述形狀參數(shù)進(jìn)行結(jié)合，得到目標(biāo)風(fēng)格的說(shuō)話(huà)人動(dòng)畫(huà)。

可選地，所述說(shuō)多風(fēng)格唇形合成網(wǎng)絡(luò)是經(jīng)過(guò)訓(xùn)練得到的，訓(xùn)練步驟包括：

收集包含單個(gè)說(shuō)話(huà)人的短時(shí)說(shuō)話(huà)視頻；

提取所述短時(shí)說(shuō)話(huà)視頻對(duì)應(yīng)的音頻以及所述短時(shí)說(shuō)話(huà)視頻中說(shuō)話(huà)人的臉像；

將所述短時(shí)說(shuō)話(huà)視頻、所述短時(shí)說(shuō)話(huà)視頻對(duì)應(yīng)的音頻以及所述短時(shí)說(shuō)話(huà)視頻中說(shuō)話(huà)人的臉像輸入所述多風(fēng)格唇形合成網(wǎng)絡(luò)中，對(duì)所述多風(fēng)格唇形合成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的多風(fēng)格唇形合成網(wǎng)絡(luò)。

可選地，所述多風(fēng)格唇形合成網(wǎng)絡(luò)通過(guò)所述目標(biāo)臉像、所述短時(shí)唇形風(fēng)格視頻以及所述目標(biāo)音頻，得到表情預(yù)測(cè)參數(shù)以及目標(biāo)人臉的形狀參數(shù)，包括：

對(duì)所述目標(biāo)臉像進(jìn)行特征提取，得到所述人臉形狀參數(shù)；

將所述短時(shí)唇形風(fēng)格視頻的特征和所述目標(biāo)音頻的特征進(jìn)行特征融合，得到所述表情預(yù)測(cè)參數(shù)。

可選地，將所述短時(shí)唇形風(fēng)格視頻的特征和所述目標(biāo)音頻的特征進(jìn)行特征融合，得到所述表情預(yù)測(cè)參數(shù)，包括：

對(duì)所述短時(shí)唇形視頻進(jìn)行特征提取，得到唇形風(fēng)格特征；

對(duì)所述目標(biāo)音頻進(jìn)行特征提取，得到音頻特征；

將所述音頻特征與所述唇型風(fēng)格特征進(jìn)行融合，得到所述表情預(yù)測(cè)參數(shù)。

可選地，所述唇形風(fēng)格特征的表達(dá)式為：