[發(fā)明專(zhuān)利]動(dòng)畫(huà)驅(qū)動(dòng)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010617136.2
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111968203A
• 公開(kāi)（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 趙洋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06T13/40
• 分類(lèi)號(hào): G06T13/40;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王萌

本申請(qǐng)公開(kāi)了動(dòng)畫(huà)驅(qū)動(dòng)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及圖像處理技術(shù)領(lǐng)域、深度學(xué)習(xí)技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：將待處理的人臉圖像輸入依次排列的特征提取子模型和頭部姿態(tài)子模型，以獲取人臉圖像的頭部姿態(tài)；將人臉圖像輸入依次排列的特征提取子模型、部位特征提取子模型以及部位組合子模型，以獲取人臉圖像的表情系數(shù)；結(jié)合人臉圖像的頭部姿態(tài)、表情系數(shù)以及人臉動(dòng)畫(huà)模型，生成與人臉圖像姿態(tài)表情一致的人臉動(dòng)畫(huà)圖像。由此，能夠使得誤差在人臉各個(gè)部位均勻分布，避免出現(xiàn)參數(shù)震蕩現(xiàn)象，提高人臉動(dòng)畫(huà)圖像的生成效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及圖像處理技術(shù)領(lǐng)域、深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及動(dòng)畫(huà)驅(qū)動(dòng)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前的三維人臉動(dòng)畫(huà)驅(qū)動(dòng)方案主要為，首先在離線(xiàn)階段，基于三維通用人臉模型構(gòu)建多個(gè)表情模型，然后通過(guò)人工選點(diǎn)標(biāo)注這些表情模型的三維關(guān)鍵點(diǎn)作為主成分，之后在運(yùn)行期間采用人臉關(guān)鍵點(diǎn)檢測(cè)模塊提取二維人臉稀疏關(guān)鍵點(diǎn)，同時(shí)構(gòu)建最小重投影誤差函數(shù)來(lái)優(yōu)化各個(gè)主成分的參數(shù)，最后驅(qū)動(dòng)參數(shù)化人臉三維模型。

上述方案中，構(gòu)建最小重投影誤差函數(shù)來(lái)優(yōu)化各個(gè)主成分的參數(shù)，導(dǎo)致誤差在人臉各個(gè)部位分布不均勻，容易出現(xiàn)參數(shù)震蕩現(xiàn)象，例如人臉“抽搐”。

發(fā)明內(nèi)容

提供了一種動(dòng)畫(huà)驅(qū)動(dòng)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)第一方面，提供了一種動(dòng)畫(huà)驅(qū)動(dòng)方法，通過(guò)將待處理的人臉圖像輸入依次排列的特征提取子模型和頭部姿態(tài)子模型，以獲取所述人臉圖像的頭部姿態(tài)；將人臉圖像輸入依次排列的特征提取子模型、部位特征提取子模型以及部位組合子模型，以獲取人臉圖像的表情系數(shù)；結(jié)合人臉圖像的頭部姿態(tài)、表情系數(shù)以及人臉動(dòng)畫(huà)模型，生成與人臉圖像姿態(tài)表情一致的人臉動(dòng)畫(huà)圖像。由此，通過(guò)部位特征提取子模型以及部位組合子模型的采用，根據(jù)人臉特征分別確定人臉各個(gè)部位的特征，進(jìn)而根據(jù)人臉各個(gè)部位的特征組合確定表情系數(shù)，能夠使得誤差在人臉各個(gè)部位均勻分布，避免出現(xiàn)參數(shù)震蕩現(xiàn)象，提高人臉動(dòng)畫(huà)圖像的生成效果。

本申請(qǐng)第二方面，提供一種動(dòng)畫(huà)驅(qū)動(dòng)裝置。

本申請(qǐng)第三方面，提出一種電子設(shè)備。

本申請(qǐng)第四方面，提出一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本申請(qǐng)第一方面實(shí)施例提出一種動(dòng)畫(huà)驅(qū)動(dòng)方法，包括：獲取待處理的人臉圖像；將所述人臉圖像輸入依次排列的特征提取子模型和頭部姿態(tài)子模型，以獲取所述人臉圖像的頭部姿態(tài)；將所述人臉圖像輸入依次排列的特征提取子模型、部位特征提取子模型以及部位組合子模型，以獲取所述人臉圖像的表情系數(shù)；以及，結(jié)合所述人臉圖像的所述頭部姿態(tài)、所述表情系數(shù)以及人臉動(dòng)畫(huà)模型，生成與所述人臉圖像姿態(tài)表情一致的人臉動(dòng)畫(huà)圖像。

本申請(qǐng)實(shí)施例的動(dòng)畫(huà)驅(qū)動(dòng)方法，通過(guò)將待處理的人臉圖像輸入依次排列的特征提取子模型和頭部姿態(tài)子模型，以獲取所述人臉圖像的頭部姿態(tài)；將人臉圖像輸入依次排列的特征提取子模型、部位特征提取子模型以及部位組合子模型，以獲取人臉圖像的表情系數(shù)；結(jié)合人臉圖像的頭部姿態(tài)、表情系數(shù)以及人臉動(dòng)畫(huà)模型，生成與人臉圖像姿態(tài)表情一致的人臉動(dòng)畫(huà)圖像。由此，通過(guò)部位特征提取子模型以及部位組合子模型的采用，根據(jù)人臉特征分別確定人臉各個(gè)部位的特征，進(jìn)而根據(jù)人臉各個(gè)部位的特征組合確定表情系數(shù)，能夠使得誤差在人臉各個(gè)部位均勻分布，避免出現(xiàn)參數(shù)震蕩現(xiàn)象，提高人臉動(dòng)畫(huà)圖像的生成效果。

本申請(qǐng)第二方面實(shí)施例提出一種動(dòng)畫(huà)驅(qū)動(dòng)裝置，包括：第一獲取模塊，用于獲取待處理的人臉圖像；第二獲取模塊，用于將所述人臉圖像輸入依次排列的特征提取子模型和頭部姿態(tài)子模型，以獲取所述人臉圖像的頭部姿態(tài)；第三獲取模塊，用于將所述人臉圖像輸入依次排列的特征提取子模型、部位特征提取子模型以及部位組合子模型，以獲取所述人臉圖像的表情系數(shù)；以及，生成模塊，用于結(jié)合所述人臉圖像的所述頭部姿態(tài)、所述表情系數(shù)以及人臉動(dòng)畫(huà)模型，生成與所述人臉圖像姿態(tài)表情一致的人臉動(dòng)畫(huà)圖像。