[發明專利]一種基于三維人臉生成和圖像融合的方法及設備

在審

• 申請號: 202210692144.2
• 申請日: 2022-06-17
• 公開（公告）號: CN115100381A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 馮瑞祥
• 申請（專利權）人: 創興科技（香港）有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T19/20;G06V10/56;G06V10/774;G06V10/82;G06V40/16
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 黃德躍

1.一種基于三維人臉生成和圖像融合的方法，其特征在于，所述方法包括：

接收待處理人臉圖像，并基于預設神經網絡模型獲取待處理人臉圖像的深度信息；

根據所述深度信息和預設三維人臉模型，生成待拼接人臉圖像的三維人臉模型；

判斷所述待處理人臉圖像的臉部是否存在非膚色區域，根據判斷結果生成合格人臉圖像；

基于所述合格人臉圖像和所述待拼接人臉圖像的三維人臉模型，拼接成帶貼圖的三維人臉模型；

對所述帶貼圖的三維人臉模型進行皮膚融合處理，生成三維人臉模型；

其中，所述合格人臉圖像為臉部不存在非膚色區域的人臉圖像。

2.根據權利要求1所述的方法，其特征在于，接收待處理人臉圖像，并基于預設神經網絡模型獲取待處理人臉圖像的深度信息，具體為：

所述預設神經網絡模型的損失函數包括待處理人臉圖像與預測圖像的差值，所述預測圖像為三維人臉模型在三維場景中的投影圖像；

所述預設神經網絡結構中包括殘差網絡塊模型和卷積核，其中，預設數量的殘差網絡塊模型不連接預設神經網絡結構的全連接層；

所述訓練數據為經過數據增強處理的數據，所述數據增強處理包括增加預設人臉圖像的背景和改變預設人臉圖像的旋轉角度。

3.根據權利要求1所述的方法，其特征在于，所述預設神經網絡模型是基于訓練數據和預設神經網絡結構生成的；

根據預設人臉圖像的長度和寬度確定預設神經網絡結構的初始參數，所述初始參數包括輸入層的單元個數、各隱藏層的輸入數量和輸出數量、初始權重值；

所述預設人臉圖像輸入到輸入層，基于前向傳播算法和初始參數確定輸出層結果；

根據所述輸出層結果和所述訓練數據確定所述損失函數；

基于最優化算法與反向傳播算法按預設學習率進行訓練，并根據訓練的結果確定所述損失函數的最小損失值，其中所述預設學習率為基于適應性矩陣估計Adam算法確定的學習率；

根據最小損失值對應的權重值確定所述預設神經網絡模型。

4.根據權利要求1所述的方法，其特征在于，根據所述深度信息和預設三維人臉模型，生成待拼接人臉圖像的三維人臉模型，具體為：

基于深度信息生成骨骼信息；

基于骨骼信息調整預設三維人臉模型的骨骼；

基于調整的結果生成待拼接人臉圖像的三維人臉模型。

5.根據權利要求1所述的方法，其特征在于，判斷所述待處理人臉圖像的臉部是否存在非膚色區域，根據判斷結果生成合格人臉圖像，具體為：

通過Mask遮罩和HSV模型對所述待處理人臉圖像的臉部進行過濾，人臉內除了五官區域的其它區域為人臉膚色區域，所述人臉膚色區域內出現的與人臉膚色存在偏差的地方為非膚色區域；

若存在非膚色區域，則構造遍歷模型的三角面信息，結合頂點信息將Mesh高亮，將非膚色區域標記出來，根據所述標記重新獲得合格人臉圖像；

若不存在非膚色區域，則將所述待處理人臉圖像判定為合格人臉圖像。

6.根據權利要求5所述的方法，其特征在于，若存在非膚色區域，則構造遍歷模型的三角面信息，結合頂點信息將Mesh高亮，將非膚色區域標記出來，根據所述標記重新獲得合格人臉圖像，具體為：

存在非膚色區域，將所述非膚色區域顯示到遍歷模型上，保存所述遍歷模型上所有頂點對應的圖片上的UV信息，并將所述UV信息中顏色值符合預期的篩選出來；

基于篩選出來的UV信息，將其對應的頂點所在的所有三角面加入到結果隊列中，得到所有的三角面隊列，將三角面還原成Mesh信息，基于所述結果隊列所得結果分類成不同的三角面信息；

基于所述三角面信息，結合頂點信息，通過cg代碼將所述Mesh信息高亮出來，據此重新獲得所述合格人臉圖像。