[發(fā)明專利]三維人臉重建方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202210969989.1
• 申請日: 2022-08-12
• 公開（公告）號: CN115330947A
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計）人: 靳凱
• 申請（專利權(quán)）人: 百果園技術(shù)（新加坡）有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/46;G06V10/82;G06V40/16
• 代理公司: 廣州利能知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44673
• 代理人: 王增鑫

本申請涉及一種三維人臉重建方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品，所述方法包括：獲取人臉影像數(shù)據(jù)，提取其中的人臉圖像，然后對所述人臉圖像實施關(guān)鍵點檢測，獲得其中人臉關(guān)鍵點所在區(qū)域的人臉區(qū)域圖像，其后采用預(yù)訓(xùn)練至收斂狀態(tài)的三維人臉重建網(wǎng)絡(luò)的雙線性建模層針對所述人臉區(qū)域圖像進(jìn)行人臉身份和人臉表情的雙線性建模，獲得參數(shù)化的三維人臉模型；最后采用所述三維人臉重建網(wǎng)絡(luò)的參數(shù)映射層將所述人臉區(qū)域圖像映射為所述參數(shù)化的三維人臉模型中相對應(yīng)的參數(shù)系數(shù)。本申請基于雙線性的解耦建模可實現(xiàn)自然的表情遷移。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種三維人臉重建方法及其裝置、設(shè)備、介質(zhì)、產(chǎn)品。

背景技術(shù)

基礎(chǔ)網(wǎng)絡(luò)技術(shù)的演進(jìn)推進(jìn)了數(shù)字人、虛擬人物和3D形象的發(fā)展。其在相關(guān)影視、游戲及教育等各領(lǐng)域的應(yīng)用急劇加大了三維虛擬人物生成技術(shù)的需求，其中，三維人臉重建技術(shù)在三維虛擬人物生成技術(shù)領(lǐng)域中更為重要。

傳統(tǒng)三維人臉重建方法基于3DMM(3D Morphable Models,3DMM)先驗，其依賴于視覺信號，而視覺信號的偏差容易導(dǎo)致泛化性較弱，因此需要更多的樣本用于訓(xùn)練。此外，依賴于關(guān)鍵點的表情遷移極易出現(xiàn)非自然表情，非真實感較強(qiáng)。

綜上，現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的3DMM，若要取得較好的重建效果，需要豐富且準(zhǔn)確的訓(xùn)練數(shù)據(jù)，即訓(xùn)練成本高；其次，難以有效進(jìn)行表情遷移，即不能獲得精準(zhǔn)表達(dá)表情的三維人臉圖像。

發(fā)明內(nèi)容

本申請的目的在于解決上述問題而提供一種三維人臉重建方法及其相應(yīng)的裝置、設(shè)備、非易失性可讀存儲介質(zhì)，以及計算機(jī)程序產(chǎn)品。

根據(jù)本申請的一個方面，提供一種三維人臉重建方法，包括如下步驟：

獲取人臉影像數(shù)據(jù)，提取其中的人臉圖像；

對所述人臉圖像實施關(guān)鍵點檢測，獲得其中人臉關(guān)鍵點所在區(qū)域的人臉區(qū)域圖像；

采用預(yù)訓(xùn)練至收斂狀態(tài)的三維人臉重建網(wǎng)絡(luò)的雙線性建模層針對所述人臉區(qū)域圖像進(jìn)行人臉身份和人臉表情的雙線性建模，獲得參數(shù)化的三維人臉模型；

采用所述三維人臉重建網(wǎng)絡(luò)的參數(shù)映射層將所述人臉區(qū)域圖像映射為所述參數(shù)化的三維人臉模型中相對應(yīng)的參數(shù)系數(shù)，所述參數(shù)系數(shù)包括與所述人臉身份對應(yīng)的身份系數(shù)和與所述人臉表情對應(yīng)的表情系數(shù)。

根據(jù)本申請的另一方面，提供一種三維人臉重建裝置，包括：

圖像獲取模塊，設(shè)置為獲取人臉影像數(shù)據(jù)，提取其中的人臉圖像；

人臉檢測模塊，設(shè)置為對所述人臉圖像實施關(guān)鍵點檢測，獲得其中人臉關(guān)鍵點所在區(qū)域的人臉區(qū)域圖像；

人臉建模模塊，設(shè)置為采用預(yù)訓(xùn)練至收斂狀態(tài)的三維人臉重建網(wǎng)絡(luò)的雙線性建模層針對所述人臉區(qū)域圖像進(jìn)行人臉身份和人臉表情的雙線性建模，獲得參數(shù)化的三維人臉模型；

參數(shù)映射模塊，設(shè)置為采用所述三維人臉重建網(wǎng)絡(luò)的參數(shù)映射層將所述人臉區(qū)域圖像映射為所述參數(shù)化的三維人臉模型中相對應(yīng)的參數(shù)系數(shù)，所述參數(shù)系數(shù)包括與所述人臉身份對應(yīng)的身份系數(shù)和與所述人臉表情對應(yīng)的表情系數(shù)。

根據(jù)本申請的另一方面，提供一種三維人臉重建設(shè)備，包括中央處理器和存儲器，所述中央處理器設(shè)置為調(diào)用運(yùn)行存儲于所述存儲器中的計算機(jī)程序以執(zhí)行本申請所述的三維人臉重建方法的步驟。

根據(jù)本申請的另一方面，提供一種非易失性可讀存儲介質(zhì)，其以計算機(jī)可讀指令的形式存儲有依據(jù)所述的三維人臉重建方法所實現(xiàn)的計算機(jī)程序，所述計算機(jī)程序被計算機(jī)調(diào)用運(yùn)行時，執(zhí)行該方法所包括的步驟。

根據(jù)本申請的另一方面，提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，所述計算機(jī)程序/指令被處理器執(zhí)行時實現(xiàn)本申請任意一種實施例中所述方法的步驟。