[發(fā)明專利]模型訓(xùn)練、嘴部動(dòng)作參數(shù)獲取方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110411264.6
• 申請(qǐng)日: 2021-04-16
• 公開（公告）號(hào): CN113077535B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 陳瀧翔;劉炫鵬;王鑫宇
• 申請(qǐng)（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號(hào): G06T13/20
• 分類號(hào): G06T13/20;G06T13/40;G06N3/0464;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張雪嬌

本申請(qǐng)公開了一種嘴部動(dòng)作驅(qū)動(dòng)模型訓(xùn)練方法、裝置、嘴部動(dòng)作參數(shù)獲取方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該訓(xùn)練方法包括：獲取訓(xùn)練聲學(xué)特征；將訓(xùn)練聲學(xué)特征分別輸入初始驅(qū)動(dòng)模型和目標(biāo)模型，得到初始驅(qū)動(dòng)模型對(duì)應(yīng)的第一輸出結(jié)果和目標(biāo)模型對(duì)應(yīng)的第二輸出結(jié)果；基于梯度上升原則，根據(jù)第一輸出結(jié)果和第二輸出結(jié)果更新目標(biāo)模型；若目標(biāo)模型的本輪更新次數(shù)達(dá)到第一閾值，則基于目標(biāo)模型和初始驅(qū)動(dòng)模型的性能比對(duì)結(jié)果更新初始驅(qū)動(dòng)模型；若滿足訓(xùn)練完成條件，則將初始驅(qū)動(dòng)模型確定為嘴部動(dòng)作驅(qū)動(dòng)模型；得到的嘴部動(dòng)作驅(qū)動(dòng)模型具有較強(qiáng)的識(shí)別能力，將待處理音頻輸入利用上述方式訓(xùn)練得到的嘴部動(dòng)作驅(qū)動(dòng)模型，可以得到準(zhǔn)確率高的嘴部動(dòng)作參數(shù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及動(dòng)作識(shí)別技術(shù)領(lǐng)域，特別涉及嘴部動(dòng)作驅(qū)動(dòng)模型訓(xùn)練方法、嘴部動(dòng)作參數(shù)獲取方法、嘴部動(dòng)作驅(qū)動(dòng)模型訓(xùn)練裝置、嘴部動(dòng)作參數(shù)獲取裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在人物影像生成、電子動(dòng)畫中的類人類角色動(dòng)作渲染等領(lǐng)域，為了使得影像中的人物更加真實(shí)、自然，嘴部動(dòng)作與語音的匹配是十分重要的，如何準(zhǔn)確地完成聲音到動(dòng)作的映射是解決這一問題的關(guān)鍵。相關(guān)技術(shù)可以分為基于規(guī)則的方法與基于深度學(xué)習(xí)的方法，其中，基于規(guī)則的方法利用類似字典的結(jié)構(gòu)記錄音素與動(dòng)作的對(duì)應(yīng)關(guān)系，通過查表的方式完成聲音到動(dòng)作參數(shù)的映射。得到的動(dòng)作參數(shù)通過像素渲染最終得到嘴部動(dòng)作與聲音匹配的人物視頻動(dòng)畫，然而字典的方法需要得到準(zhǔn)確且覆蓋全面的字典，字典構(gòu)建難度較大。

基于深度學(xué)習(xí)的方法，不需要構(gòu)建字典，解決了字典構(gòu)建難度大的問題。其利用訓(xùn)練數(shù)據(jù)訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)，并將聲音對(duì)應(yīng)的特征序列輸入到神經(jīng)網(wǎng)絡(luò)后，得到相關(guān)的嘴部動(dòng)作參數(shù)。基于深度學(xué)習(xí)的方法中神經(jīng)網(wǎng)絡(luò)的識(shí)別能力直接決定了嘴部動(dòng)作參數(shù)的可靠性，而相關(guān)技術(shù)中神經(jīng)網(wǎng)絡(luò)的識(shí)別能力都較差，使得嘴部動(dòng)作參數(shù)的準(zhǔn)確率較低。

因此，相關(guān)技術(shù)存在的嘴部動(dòng)作參數(shù)的準(zhǔn)確率較低的問題，是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)的目的在于提供一種嘴部動(dòng)作驅(qū)動(dòng)模型訓(xùn)練方法、嘴部動(dòng)作驅(qū)動(dòng)模型訓(xùn)練裝置、嘴部動(dòng)作參數(shù)獲取方法、嘴部動(dòng)作參數(shù)獲取裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，提高了得到的嘴部動(dòng)作參數(shù)的準(zhǔn)確率。

為解決上述技術(shù)問題，本申請(qǐng)?zhí)峁┝艘环N嘴部動(dòng)作驅(qū)動(dòng)模型訓(xùn)練方法，包括：

獲取訓(xùn)練聲學(xué)特征；

將所述訓(xùn)練聲學(xué)特征分別輸入初始驅(qū)動(dòng)模型和目標(biāo)模型，得到所述初始驅(qū)動(dòng)模型對(duì)應(yīng)的第一輸出結(jié)果和所述目標(biāo)模型對(duì)應(yīng)的第二輸出結(jié)果；

基于梯度上升原則，根據(jù)所述第一輸出結(jié)果和所述第二輸出結(jié)果更新所述目標(biāo)模型；

若所述目標(biāo)模型的本輪更新次數(shù)達(dá)到第一閾值，則基于所述目標(biāo)模型和所述初始驅(qū)動(dòng)模型的性能比對(duì)結(jié)果更新所述初始驅(qū)動(dòng)模型；

若滿足訓(xùn)練完成條件，則將所述初始驅(qū)動(dòng)模型確定為嘴部動(dòng)作驅(qū)動(dòng)模型。

可選地，所述基于梯度上升原則，根據(jù)所述第一輸出結(jié)果和所述第二輸出結(jié)果更新所述目標(biāo)模型，包括：

基于所述訓(xùn)練聲學(xué)特征對(duì)應(yīng)的訓(xùn)練標(biāo)簽，利用評(píng)分網(wǎng)絡(luò)分別對(duì)所述第一輸出結(jié)果和所述第二輸出結(jié)果進(jìn)行處理，得到所述第一輸出結(jié)果對(duì)應(yīng)的第一評(píng)分和所述第二輸出結(jié)果對(duì)應(yīng)的第二評(píng)分；

利用所述第一評(píng)分和所述第二評(píng)分計(jì)算梯度值，并利用所述梯度值更新所述目標(biāo)模型。

可選地，在基于所述目標(biāo)模型和所述初始驅(qū)動(dòng)模型的性能比對(duì)結(jié)果更新所述初始驅(qū)動(dòng)模型之后，還包括：

若所述目標(biāo)模型的性能優(yōu)于所述初始驅(qū)動(dòng)模型，則利用所述第一輸出結(jié)果和對(duì)應(yīng)的所述第一評(píng)分，和/或，所述第二輸出結(jié)果和對(duì)應(yīng)的所述第二評(píng)分，組成評(píng)分訓(xùn)練數(shù)據(jù)，并利用所述評(píng)分訓(xùn)練數(shù)據(jù)訓(xùn)練所述評(píng)分網(wǎng)絡(luò)。