[發(fā)明專利]利用2D人臉圖片生成虛擬人物的方法和裝置

有效

• 申請?zhí)枺?/td>: 202310671947.4
• 申請日: 2023-06-08
• 公開（公告）號: CN116433812B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計）人: 蘆宏川
• 申請（專利權(quán)）人: 海馬云（天津）信息技術(shù)有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06N3/0464;G06T3/00;G06T7/33
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種利用2D人臉圖片生成虛擬人物的方法，包括：

獲取待處理的2D人臉圖片，利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對所述2D人臉圖片進(jìn)行處理，得到3DMM人臉模型，其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括人臉模型、光照模型和相機(jī)模型；

通過將所述3DMM人臉模型通過形狀轉(zhuǎn)換方法映射到虛擬人物的素體捏臉頭部三維模型，得到虛擬人物；

所述通過將所述3DMM人臉模型通過形狀轉(zhuǎn)換方法映射到虛擬人物的素體捏臉頭部三維模型，得到虛擬人物，包括：

提取所述3DMM人臉模型的面部特征點，基于徑向基函數(shù)，并利用所述面部特征點對虛擬人物的素體捏臉頭部三維模型進(jìn)行彈性形變，得到第一頭部三維模型；

以所述第一頭部三維模型為人臉模板，通過非剛性ICP配準(zhǔn)算法對所述3DMM人臉模型和第一頭部三維模型進(jìn)行配準(zhǔn)，得到第二頭部三維模型；

提取所述3DMM人臉模型的面部輪廓特征點，基于徑向基函數(shù)，并利用所述面部輪廓特征點對所述第二頭部三維模型進(jìn)行彈性形變，得到第三頭部三維模型；

以所述第三頭部三維模型為人臉模板，通過非剛性ICP配準(zhǔn)算法對所述3DMM人臉模型和第三頭部三維模型進(jìn)行配準(zhǔn)，得到第四頭部三維模型；

通過對所述第四頭部三維模型進(jìn)行平滑處理，得到虛擬人物。

2.如權(quán)利要求1所述的方法，其特征在于，在所述利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對所述2D人臉圖片進(jìn)行處理，得到3DMM人臉模型之前，還包括：

訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)，其中，訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)使用的樣本包括多張2D人臉圖片和所述多張2D人臉圖片對應(yīng)的投影重構(gòu)圖片，使用的損失函數(shù)包括圖片層面損失、感知層損失、正則損失和紋理損失，所述圖片層面損失包括像素?fù)p失和人臉識別點損失，所述損失函數(shù)為像素?fù)p失、人臉識別點損失、感知層損失、正則損失和紋理損失的加權(quán)求和的結(jié)果。

3.一種利用2D人臉圖片生成虛擬人物的裝置，包括：

處理單元，用于獲取待處理的2D人臉圖片，利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對所述2D人臉圖片進(jìn)行處理，得到3DMM人臉模型，其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括人臉模型、光照模型和相機(jī)模型；

映射單元，用于通過將所述3DMM人臉模型通過形狀轉(zhuǎn)換方法映射到虛擬人物的素體捏臉頭部三維模型，得到虛擬人物；

所述映射單元，用于：

提取所述3DMM人臉模型的面部特征點，基于徑向基函數(shù)，并利用所述面部特征點對虛擬人物的素體捏臉頭部三維模型進(jìn)行彈性形變，得到第一頭部三維模型；

以所述第一頭部三維模型為人臉模板，通過非剛性ICP配準(zhǔn)算法對所述3DMM人臉模型和第一頭部三維模型進(jìn)行配準(zhǔn)，得到第二頭部三維模型；

提取所述3DMM人臉模型的面部輪廓特征點，基于徑向基函數(shù)，并利用所述面部輪廓特征點對所述第二頭部三維模型進(jìn)行彈性形變，得到第三頭部三維模型；

以所述第三頭部三維模型為人臉模板，通過非剛性ICP配準(zhǔn)算法對所述3DMM人臉模型和第三頭部三維模型進(jìn)行配準(zhǔn)，得到第四頭部三維模型；

通過對所述第四頭部三維模型進(jìn)行平滑處理，得到虛擬人物。

4.如權(quán)利要求3所述的裝置，其特征在于，還包括：

訓(xùn)練單元，用于在所述處理單元利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對所述2D人臉圖片進(jìn)行處理，得到3DMM人臉模型之前，訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)，其中，訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)使用的樣本包括多張2D人臉圖片和所述多張2D人臉圖片對應(yīng)的投影重構(gòu)圖片，使用的損失函數(shù)包括圖片層面損失、感知層損失、正則損失和紋理損失，所述圖片層面損失包括像素?fù)p失和人臉識別點損失，所述損失函數(shù)為像素?fù)p失、人臉識別點損失、感知層損失、正則損失和紋理損失的加權(quán)求和的結(jié)果。

5.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器運(yùn)行時執(zhí)行如權(quán)利要求1至2任一項所述的利用2D人臉圖片生成虛擬人物的方法的步驟。

6.一種電子設(shè)備，其特征在于，包括：處理器、存儲介質(zhì)和總線，所述存儲介質(zhì)存儲有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時，所述處理器與所述存儲介質(zhì)之間通過總線通信，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行如權(quán)利要求1至2任一項所述的利用2D人臉圖片生成虛擬人物的方法的步驟。