[發明專利]一種基于三維人臉生成和圖像融合的方法及設備

在審

• 申請號: 202210692144.2
• 申請日: 2022-06-17
• 公開（公告）號: CN115100381A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 馮瑞祥
• 申請（專利權）人: 創興科技（香港）有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T19/20;G06V10/56;G06V10/774;G06V10/82;G06V40/16
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 黃德躍

本發明公開了一種基于三維人臉生成和圖像融合的方法及設備，該方法為：接收待處理人臉圖像，并基于預設神經網絡模型獲取待處理人臉圖像的深度信息；根據所述深度信息和預設三維人臉模型，生成待拼接人臉圖像的三維人臉模型；判斷所述待處理人臉圖像的臉部是否存在非膚色區域，根據判斷結果生成合格人臉圖像；基于所述合格人臉圖像和所述待拼接人臉圖像的三維人臉模型，拼接成帶貼圖的三維人臉模型；對所述帶貼圖的三維人臉模型進行皮膚融合處理，生成三維人臉模型。采用了新穎的神經網絡結構、損失函數的優化和人臉骨骼的聯動措施，提高了深度信息的準確度。將用戶的臉部模型，應用于任何的虛擬形象模型上，并達到無縫拼接，以及膚色的完美融合。

技術領域

本發明涉及人臉處理技術領域，尤其是涉及一種基于三維人臉生成和圖像融合的方法及設備。

背景技術

隨著人工智能迅速地發展，市場上也出現了越來越多的與AI換臉、人臉識別相關的技術和產品，如視頻AI換臉等，通過用戶提供的照片，以及人臉關鍵點判斷五官，再將用戶臉部五官特征替換到視頻原有的人臉上。通過相機掃描人臉形成3D人臉重建的過程中，需要獲得人臉的深度信息去還原人臉模型。為了獲得人臉的深度信息，通常需要引入深度探測感應系統，如蘋果的FaceID中的原深感攝像頭(TrueDepth Camera)系統。

目前現有技術中存在以下弊端：提取的人臉深度信息的準確性達不到要求，由于人臉是一個深度敏感的區域，需要精確的深度信息，但在神經網絡中增加深度通常伴隨著梯度消失，且信息損耗程度大，這會對3D人臉的效果和是否與拍照人相似程度產生重大負面影響。最后，AI換臉等方法，只是替換照片，并不能獲得用戶真實五官輪廓的深度數據，導致效果不夠真實，不同用戶的臉部膚色不一致也會導致合成到目標身上后，顏色有反差。

因此，如何提高三維人臉圖像深度信息的準確度和減少人臉合成時膚色反差，是本領域技術人員亟待解決的技術問題。

發明內容

本發明提供一種基于三維人臉生成和圖像融合的方法，用以解決現有技術中人臉圖像深度信息的準確度低、人臉合成時膚色反差大的技術問題，該方法包括：

接收待處理人臉圖像，并基于預設神經網絡模型獲取待處理人臉圖像的深度信息；

根據所述深度信息和預設三維人臉模型，生成待拼接人臉圖像的三維人臉模型；

判斷所述待處理人臉圖像的臉部是否存在非膚色區域，根據判斷結果生成合格人臉圖像；

基于所述合格人臉圖像和所述待拼接人臉圖像的三維人臉模型，拼接成帶貼圖的三維人臉模型；

對所述帶貼圖的三維人臉模型進行皮膚融合處理，生成三維人臉模型；

其中，所述合格人臉圖像為臉部不存在非膚色區域的人臉圖像。

優選的，接收待處理人臉圖像，并基于預設神經網絡模型獲取待處理人臉圖像的深度信息，具體為：

所述預設神經網絡模型的損失函數包括待處理人臉圖像與預測圖像的差值，所述預測圖像為三維人臉模型在三維場景中的投影圖像；

所述預設神經網絡結構中包括殘差網絡塊模型和卷積核，其中，預設數量的殘差網絡塊模型不連接預設神經網絡結構的全連接層；

所述訓練數據為經過數據增強處理的數據，所述數據增強處理包括增加預設人臉圖像的背景和改變預設人臉圖像的旋轉角度。

優選的，所述預設神經網絡模型是基于訓練數據和預設神經網絡結構生成的；

根據預設人臉圖像的長度和寬度確定預設神經網絡結構的初始參數，所述初始參數包括輸入層的單元個數、各隱藏層的輸入數量和輸出數量、初始權重值；

所述預設人臉圖像輸入到輸入層，基于前向傳播算法和初始參數確定輸出層結果；