[發(fā)明專利]一種三維人臉重建的方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011583279.2
• 申請日: 2020-12-28
• 公開（公告）號: CN112633191A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 張小偉;胡鐘元;劉更代
• 申請（專利權(quán)）人: 百果園技術(shù)（新加坡）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06T17/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實施例公開了一種三維人臉重建的方法、裝置、設(shè)備和存儲介質(zhì)。其中，該方法包括：如果通過預(yù)先構(gòu)建的教師網(wǎng)絡(luò)模型已估算出當(dāng)前視頻幀在三維人臉重建下的穩(wěn)態(tài)重建參數(shù)，則將當(dāng)前視頻幀輸入到由教師網(wǎng)絡(luò)模型蒸餾后的學(xué)生網(wǎng)絡(luò)模型中，估算當(dāng)前視頻幀在三維人臉重建下的動態(tài)重建參數(shù)；將穩(wěn)態(tài)重建參數(shù)和動態(tài)重建參數(shù)輸入到預(yù)先構(gòu)建的三維形變模型中，重建出當(dāng)前視頻幀對應(yīng)的三維人臉。本發(fā)明實施例提供的技術(shù)方案，極大減少了三維人臉重建的計算開銷，從而提高了三維人臉重建的高效性，同時在保證連續(xù)視頻幀的三維人臉重建穩(wěn)定性的基礎(chǔ)上，實現(xiàn)各個視頻幀的三維人臉的個性化重建，從而提高三維人臉重建的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種三維人臉重建的方法、裝置、設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著視頻技術(shù)的發(fā)展，有人臉畫面顯示需求的人臉動畫、人臉識別和增強現(xiàn)實(Augmented Reality，AR)等娛樂應(yīng)用中對于逼真的人臉模型的創(chuàng)建需求也越來越大。由于在同一人臉錄制的視頻中，不同視頻幀內(nèi)通常會存在多種表情，因此在三維人臉重建時需要對各個視頻幀中的人臉表情進行跟蹤，以使重建后的三維人臉中配置有相應(yīng)的表情，增強三維人臉重建的逼真性。

目前，對于某一用戶所錄制的視頻中每一視頻幀內(nèi)的三維人臉重建，通常會將各個視頻幀作為獨立的人臉圖像，采用預(yù)先構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型分別預(yù)測每一視頻幀在重建三維人臉時需要參考的重建參數(shù)，進而采用該重建參數(shù)對每一視頻幀進行三維人臉重建；此時，由于視頻幀之間的連續(xù)性，則會在相鄰視頻幀下預(yù)測的重建參數(shù)不穩(wěn)定時，導(dǎo)致重建出的三維人臉出現(xiàn)抖動，而且由于每一視頻幀下的重建參數(shù)預(yù)測均是面向同一人臉的重建參數(shù)預(yù)測，因此在對每一視頻幀預(yù)測重建參數(shù)時，會增加不必要的預(yù)測計算量，從而影響到三維人臉重建的高效性。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種三維人臉重建的方法、裝置、設(shè)備和存儲介質(zhì)，在保證三維人臉重建準(zhǔn)確性的基礎(chǔ)上，減少三維人臉重建的計算開銷，提高三維人臉重建的高效性。

第一方面，本發(fā)明實施例提供了一種三維人臉重建的方法，該方法包括：

如果通過預(yù)先構(gòu)建的教師網(wǎng)絡(luò)模型已估算出當(dāng)前視頻幀在三維人臉重建下的穩(wěn)態(tài)重建參數(shù)，則將所述當(dāng)前視頻幀輸入到由所述教師網(wǎng)絡(luò)模型蒸餾后的學(xué)生網(wǎng)絡(luò)模型中，估算所述當(dāng)前視頻幀在三維人臉重建下的動態(tài)重建參數(shù)；

將所述穩(wěn)態(tài)重建參數(shù)和所述動態(tài)重建參數(shù)輸入到預(yù)先構(gòu)建的三維形變模型中，重建出所述當(dāng)前視頻幀對應(yīng)的三維人臉。

第二方面，本發(fā)明實施例提供了一種三維人臉重建的裝置，該裝置包括：

重建參數(shù)估算模塊，用于如果通過預(yù)先構(gòu)建的教師網(wǎng)絡(luò)模型已估算出當(dāng)前視頻幀在三維人臉重建下的穩(wěn)態(tài)重建參數(shù)，則將所述當(dāng)前視頻幀輸入到由所述教師網(wǎng)絡(luò)模型蒸餾后的學(xué)生網(wǎng)絡(luò)模型中，估算所述當(dāng)前視頻幀在三維人臉重建下的動態(tài)重建參數(shù)；

三維人臉重建模塊，用于將所述穩(wěn)態(tài)重建參數(shù)和所述動態(tài)重建參數(shù)輸入到預(yù)先構(gòu)建的三維形變模型中，重建出所述當(dāng)前視頻幀對應(yīng)的三維人臉。

第三方面，本發(fā)明實施例提供了一種計算機設(shè)備，該計算機設(shè)備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)本發(fā)明任意實施例所述的三維人臉重建的方法。

第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)本發(fā)明任意實施例所述的三維人臉重建的方法。