[發明專利]一種基于人臉關鍵點的人臉圖像融合方法

在審

• 申請號: 201911382548.6
• 申請日: 2019-12-27
• 公開（公告）號: CN113052783A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 張赟;肖敬;張王晟
• 申請（專利權）人: 杭州深繪智能科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06K9/00
• 代理公司: 上海聯科律師事務所 31350
• 代理人: 趙旭

本發明公開了一種基于人臉關鍵點的人臉圖像融合方法，包括以下步驟：(a)獲取人臉關鍵點；(b)通過獲取的人臉的關鍵點給出的眼睛、鼻子和嘴唇坐標點，畫出非空像素點的輪廓圖,再將輪廓圖與原圖做或操作從而得到了蒙版圖。所述蒙版圖指的是有人臉框，并無其他任何背景；(c)當輸入的參考人臉已獲得蒙版圖后，需要將目標人臉對齊到原參考人臉；(d)當用戶輸入的兩張圖片存在較大的顏色差別時，需要將目標人臉的顏色校準到和參考人臉的顏色接近，(e)當人物的色彩矯正加權平均后，即可對參考圖片的面部進行融合。能夠解決人臉關鍵點的確定、人臉朝向的對齊、消除參考人臉與目標人臉之間的色差、以及人臉貼合邊緣羽化的問題。

技術領域

本發明涉及圖像融合領域，特別涉及基于人臉關鍵點的人臉圖像融合方法。

背景技術

隨著各種技術的發展，圖像方面的人臉處理技術越來越廣泛。各大相機軟件都有美顏、 貼圖、換發型、融合等功能。融合使用的人臉圖像融合技術，是把參考人臉的表觀特征融合 到目標人臉中，從而在圖像或者視頻中生成新內容與風格。這項技術在文化創意產業中有廣 泛應用，如影視制作、數字娛樂、社交媒體與個人圖像編輯。通常的實現方法是使用Photoshop 軟件，但該方法要求操作人員的圖像處理技術有一定的基礎，另外處理每一幅圖像都需要大 量的時間，難以滿足大數據時代的高效、批量處理的需求。

因此出現了一些解決的方案，其方案通過對參考人臉和目標人臉的人臉關鍵點的檢測； 采用蒙版和人臉對齊方法將參考人臉和目標人臉提取出；再根據兩者的顏色差度進行顏色矯 正；最后將人臉加權求和后泊松克隆貼合到原圖，從而得到最終的人臉融合圖片。

但是，傳統圖像處理技術的人臉融合方法，主要是采用蒙板與邊界羽化的技術來實現， 但該方法只有在目標人臉與參考人臉的表觀差別不大的情況下才能達到較好的效果。另外當 目標人臉與參考人臉具有較大的光照差異時，該方法會在融合區域內引入視覺瑕疵。另外深 度學習方案：模型對背景泛化的能力比較弱、且通常訓練數據不充足、訓練數據精度不高、 模型訓練時間長、模型輸出的圖片分辨率低下，不能滿足實際的使用要求。

發明內容

本發明要解決的技術問題是提供一種基于人臉關鍵點的人臉圖像融合方法，能夠解決人 臉關鍵點的確定、人臉朝向的對齊、消除參考人臉與目標人臉之間的色差、以及人臉貼合邊 緣羽化的問題。

為了解決上述技術問題，本發明的技術方案為：

一種基于人臉關鍵點的人臉圖像融合方法，其特征在于，包括以下步驟：

(a)獲取人臉關鍵點；

(b)通過獲取的人臉的關鍵點給出的眼睛、鼻子和嘴唇坐標點，畫出非空像素點的輪廓 圖,再將輪廓圖與原圖做或操作從而得到了蒙版圖；

(c)當輸入的參考人臉已獲得蒙版圖后，需要將目標人臉對齊到原參考人臉；

(d)當用戶輸入的兩張圖片存在較大的顏色差別時，需要將目標人臉的顏色校準到和參 考人臉的顏色接近；

(e)當人物的色彩矯正加權平均后，即可對參考圖片的面部進行融合。

優選地，步驟(a)中還包括以下步驟：

(a1)首先實用卷積神經網絡檢測出輸入圖片的人臉；

(a2)再使用級聯回歸樹算法從像素強度的稀疏子集中估計人臉關鍵點的位置。

優選地，步驟(a2)中還包括以下步驟:

(a21)、首先在卷積神經網絡識別出的人臉框中隨機選擇兩個點；

(a22)、計算訓練集中每一張圖片這兩個點處的像素值，得到每張圖片兩點處的像素差， 從而得到樹的分裂閾值；

(a23)、根據閾值，使得樹分別左右分裂，最終將所有圖片分成左右兩部分；