[發(fā)明專利]人臉變形目標(biāo)修正方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202310089427.2
• 申請日: 2023-01-30
• 公開（公告）號: CN116012550A
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 高杰
• 申請（專利權(quán)）人: 百果園技術(shù)（新加坡）有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/11
• 代理公司: 廣州利能知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44673
• 代理人: 王增鑫

本申請涉及一種人臉變形目標(biāo)修正方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品，所述方法包括：獲取基底人臉系數(shù)集，所述基底人臉系數(shù)集包含預(yù)采集的多個人臉基底的中性人臉系數(shù)及平均人臉系數(shù)，所述人臉系數(shù)包含人臉形狀系數(shù)；根據(jù)三維人臉模型的人臉網(wǎng)格中各個預(yù)設(shè)人臉區(qū)域相對應(yīng)的人臉關(guān)鍵點信息，將所述基底人臉系數(shù)集對應(yīng)分割成各個人臉區(qū)域的區(qū)域人臉系數(shù)；根據(jù)每個人臉區(qū)域相對應(yīng)的區(qū)域人臉系數(shù)對所述人臉網(wǎng)格中相應(yīng)區(qū)域的頂點進行優(yōu)化，以確定出所述人臉網(wǎng)格的人臉形狀系數(shù)；根據(jù)優(yōu)化后的人臉形狀系數(shù)修正所述三維人臉模型的人臉變形目標(biāo)。本申請在維持較低運算量的情況下，使所述人臉變形目標(biāo)的各個具體人臉區(qū)域都能夠獲得精細(xì)化的優(yōu)化效果。

技術(shù)領(lǐng)域

本申請涉及數(shù)字人技術(shù)領(lǐng)域，尤其涉及一種人臉變形目標(biāo)修正方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品。

背景技術(shù)

人臉表情追蹤技術(shù)在數(shù)字人領(lǐng)域具有廣泛的應(yīng)用，是一個在學(xué)術(shù)界和工業(yè)界廣泛研究的問題，主要分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類。

傳統(tǒng)方法利用自建3D人臉基底，通過嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推導(dǎo)來定義能量項，以最小化能量項來優(yōu)化identity系數(shù)和表情系數(shù)，從而擬合人臉形狀及表情。其中，identity系數(shù)α用于擬合人臉的形狀，表情系數(shù)β用于擬合人臉的表情。而深度學(xué)習(xí)方法利用采集的訓(xùn)練圖像及其對應(yīng)的表情標(biāo)簽，對已有數(shù)據(jù)進行端對端的訓(xùn)練，模型學(xué)習(xí)到identity系數(shù)和表情系數(shù)來擬合人臉及表情。

對于現(xiàn)有傳統(tǒng)方法，通常從自建3D人臉基底中提取中性人臉來優(yōu)化identity系數(shù)。然后，將整張人臉進行優(yōu)化，很容易忽略掉人臉細(xì)節(jié)，而且難以使優(yōu)化函數(shù)收斂。

對于深度學(xué)習(xí)方法，一方面需要精心設(shè)計合理的網(wǎng)絡(luò)模型，同時需要大量的資源來訓(xùn)練模型使其收斂。另一方面，深度學(xué)習(xí)模型作為端到端的黑盒，很難精細(xì)優(yōu)化每一個表情的具體系數(shù)，從而可能出現(xiàn)表情異常的情況。

可見，各種現(xiàn)有技術(shù)在處理數(shù)字人的人臉圖像時，對人臉圖像的優(yōu)化較為粗糙，難以獲得優(yōu)質(zhì)的人臉圖像。

發(fā)明內(nèi)容

本申請的目的在于解決上述問題而提供一種人臉變形目標(biāo)修正方法及其相應(yīng)的裝置、設(shè)備、非易失性可讀存儲介質(zhì)，以及計算機程序產(chǎn)品。

根據(jù)本申請的一個方面，提供一種人臉變形目標(biāo)修正方法，包括如下步驟：

獲取基底人臉系數(shù)集，所述基底人臉系數(shù)集包含預(yù)采集的多個人臉基底的中性人臉系數(shù)及平均人臉系數(shù)，所述人臉系數(shù)包含人臉形狀系數(shù)；

根據(jù)三維人臉模型的人臉網(wǎng)格中各個預(yù)設(shè)人臉區(qū)域相對應(yīng)的人臉關(guān)鍵點信息，將所述基底人臉系數(shù)集對應(yīng)分割成各個人臉區(qū)域的區(qū)域人臉系數(shù)；

根據(jù)每個人臉區(qū)域相對應(yīng)的區(qū)域人臉系數(shù)對所述人臉網(wǎng)格中相應(yīng)區(qū)域的頂點進行優(yōu)化，以確定出所述人臉網(wǎng)格的人臉形狀系數(shù)；

根據(jù)優(yōu)化后的人臉形狀系數(shù)修正所述三維人臉模型的人臉變形目標(biāo)。

根據(jù)本申請的另一方面，提供一種人臉變形目標(biāo)修正裝置，包括：

基底系數(shù)獲取模塊，設(shè)置為獲取基底人臉系數(shù)集，所述基底人臉系數(shù)集包含預(yù)采集的多個人臉基底的中性人臉系數(shù)及平均人臉系數(shù)，所述人臉系數(shù)包含人臉形狀系數(shù)；

人臉區(qū)域分割模塊，設(shè)置為根據(jù)三維人臉模型的人臉網(wǎng)格中各個預(yù)設(shè)人臉區(qū)域相對應(yīng)的人臉關(guān)鍵點信息，將所述基底人臉系數(shù)集對應(yīng)分割成各個人臉區(qū)域的區(qū)域人臉系數(shù)；

頂點分區(qū)優(yōu)化模塊，設(shè)置為根據(jù)每個人臉區(qū)域相對應(yīng)的區(qū)域人臉系數(shù)對所述人臉網(wǎng)格中相應(yīng)區(qū)域的頂點進行優(yōu)化，以確定出所述人臉網(wǎng)格的人臉形狀系數(shù)；

變形目標(biāo)修正模塊，設(shè)置為根據(jù)優(yōu)化后的人臉形狀系數(shù)修正所述三維人臉模型的人臉變形目標(biāo)。