[發(fā)明專利]三維面部生成方法和裝置、三維面部重演方法和裝置

在審

• 申請?zhí)枺?/td>: 202210402505.5
• 申請日: 2022-04-18
• 公開（公告）號: CN114898034A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 曾豪;張智勐;張唯;丁彧;呂唐杰;范長杰;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/774;G06V40/16;G06V40/10;G06V20/40;H04N5/265
• 代理公司: 北京清源匯知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11644
• 代理人: 馮德魁

本申請公開一種三維面部生成方法和裝置，三維面部重演方法和裝置，其中，所述生成方法包括：基于目標(biāo)表情編碼網(wǎng)絡(luò)模型，獲取包含第一身份對象的第一圖像的表情向量；所述第一圖像為面部具有遮擋物的圖像；將所述表情向量，以及包含第二身份對象的第二圖像，輸入到目標(biāo)面部生成網(wǎng)絡(luò)模型中，確定將所述第一圖像的表情向量遷移到所述第二圖像中所述第二身份對象面部的目標(biāo)圖像；使得第一圖像中第一身份對象的面部區(qū)域即便在具有遮擋物的情況下，依然能夠識別出表情向量，并遷移到第二圖像的第二身份對象的面部，從而提高面部表情遷移的準(zhǔn)確性，同時提高面部表情在遮擋情況下遷移的魯棒性。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)應(yīng)用領(lǐng)域，具體涉及一種三維面部生成方法和裝置、三維面部重演方法和裝置。本申請同時涉及一種計(jì)算機(jī)存儲介質(zhì)和電子設(shè)備。

背景技術(shù)

人臉重演技術(shù)是指將一個人(源人臉)的表情和頭部姿態(tài)遷移到另一個人臉上(目標(biāo)人臉)，并且保持目標(biāo)人臉的身份不發(fā)生變化。人臉重演技術(shù)擁有廣泛的應(yīng)用場景，比如制作虛擬主播，虛擬偶像等等，通俗的講，將輸入一段源人臉的說話視頻和目標(biāo)人臉的一張靜態(tài)圖片，人臉重演技術(shù)可以使該靜態(tài)圖片參照源人臉視頻動生成一段目標(biāo)人臉的新視頻，該視頻擁有和源視頻一樣的表情變化和頭部姿勢變化。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N三維面部生成方法，以解決現(xiàn)有技術(shù)中由于人臉存在遮擋而導(dǎo)致無法進(jìn)行人臉生成或生成不準(zhǔn)確的問題，進(jìn)一步無法實(shí)現(xiàn)三維人臉重演的問題。

本申請?zhí)峁┮环N三維面部生成方法，包括：

基于目標(biāo)表情編碼網(wǎng)絡(luò)模型，獲取包含第一身份對象的第一圖像的表情向量，其中，所述目標(biāo)表情編碼網(wǎng)絡(luò)模型為基于面部具有遮擋物的表情圖像進(jìn)行訓(xùn)練確定的模型；所述第一圖像為面部具有遮擋物的圖像；

將所述表情向量，以及包含第二身份對象的第二圖像，輸入到目標(biāo)面部生成網(wǎng)絡(luò)模型中，確定將所述第一圖像的表情向量遷移到所述第二圖像中所述第二身份對象面部的目標(biāo)圖像，其中，所述目標(biāo)面部生成網(wǎng)絡(luò)模型為基于具有相同身份的圖像對應(yīng)的不同表情進(jìn)行表情遷移訓(xùn)練確定的模型。

在一些實(shí)施例中，所述方法還包括：

從表情圖像樣本數(shù)據(jù)集中獲取目標(biāo)樣本圖像、與所述目標(biāo)樣本圖像表情相似的正樣本圖像以及與所述目標(biāo)樣本圖像表情不相似的負(fù)樣本圖像，其中，所述目標(biāo)樣本圖像、所述正樣本圖像和所述負(fù)樣本圖像中至少有一張圖像中的部分面部區(qū)域具有遮擋物，且所述目標(biāo)樣本圖像、所述正樣本圖像和所述負(fù)樣本圖像為具有不同身份信息的樣本圖像；

基于所述目標(biāo)樣本圖像、所述正樣本圖像和所述負(fù)樣本圖像對初始的表情編碼網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，所述表情編碼模型用于計(jì)算輸入圖像對應(yīng)的表情向量；

當(dāng)根據(jù)所述表情向量確定滿足預(yù)設(shè)的模型收斂條件時，獲得所述目標(biāo)表情編碼網(wǎng)絡(luò)模型。

在一些實(shí)施例中，所述基于所述目標(biāo)樣本圖像、所述正樣本圖像和所述負(fù)樣本圖像對初始的表情編碼模型進(jìn)行訓(xùn)練，包括：

將所述目標(biāo)樣本圖像、所述正樣本圖像和所述負(fù)樣本圖像分別輸入至初始的表情編碼網(wǎng)絡(luò)模型，分別獲得對應(yīng)的表情向量；

基于所述目標(biāo)樣本圖像對應(yīng)的表情向量、所述正樣本圖像對應(yīng)的表情向量、所述負(fù)樣本圖像對應(yīng)的表情向量以及預(yù)設(shè)的損失函數(shù)，獲得損失值；

根據(jù)所述損失值確定是否滿足預(yù)設(shè)的收斂條件，若不滿足，則對初始的表情編碼網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整，并對調(diào)整后的所述表情編碼網(wǎng)絡(luò)模型進(jìn)行下一輪的訓(xùn)練。

在一些實(shí)施例中，所述將所述表情向量，以及包含第二身份對象的第二圖像輸入到目標(biāo)面部生成網(wǎng)絡(luò)模型中，確定將所述第一圖像的表情向量遷移到所述第二圖像面部的目標(biāo)圖像，包括：

將所述第二圖像輸入到所述目標(biāo)面部生成網(wǎng)絡(luò)模型的編碼器中，確定所述第二圖像對應(yīng)的面部特征；