[發明專利]人臉編輯方法

有效

• 申請號: 201710301176.4
• 申請日: 2017-05-02
• 公開（公告）號: CN107123083B
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 張舉勇;李真熙
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種人臉編輯方法，其特征在于，包括：

對初始的人臉圖像數據集合進行預處理，對圖像進行關鍵點檢測，并通過關鍵點對齊人臉，獲得預處理后的人臉圖像數據集合S；

對人臉圖像數據集合S構造人臉形狀先驗P；

利用人臉圖像數據集合S與人臉形狀先驗P訓練深度神經網絡模型；

利用訓練好的深度神經網絡模型，對輸入的人臉圖像及對應的人臉形狀先驗，進行人臉分割標簽預測，進而完成人臉編輯操作；

其中，所述對人臉圖像數據集合S構造人臉形狀先驗P包括：

給定人臉圖像k，利用人臉關鍵點檢測技術，檢測人臉圖像k和驗證集中所有圖像的關鍵點；將驗證集中所有圖像通過相似變換對齊到人臉圖像k，得到轉換后的人臉圖像數據集合；比較驗證集中每一張圖像與人臉圖像k關于人臉關鍵點的歐幾里得距離l_i，選擇出距離最近的n張圖像對應的人臉標簽圖像；提取每一張人臉標簽圖像中的8類標簽，并將每一類轉換為0-1標簽，單獨作為一個通道，組成新的多通道標簽圖φ_i；對多通道標簽圖φ_i加權α_i，最終獲得人臉形狀先驗P，相關計算公式如下：

上式中，l_k為人臉圖像k的人臉關鍵點，l_j為距離最近的n張圖像中的第j張人臉圖像的人臉關鍵點，d_j為距離最近的n張圖像中的第j張與人臉圖像k的歐氏距離。

2.根據權利要求1所述的一種人臉編輯方法，其特征在于，所述人臉圖像數據集合S中包括：若干彩色人臉圖像以及對應的人臉標簽圖像；

每一彩色人臉圖像均為RGB三通道圖像；人臉標簽圖像為單通道圖像，分為11類：背景、頭發、臉部皮膚、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔與下嘴唇。

3.根據權利要求1或2所述的一種人臉編輯方法，其特征在于，將人臉圖像數據集合S劃分為三個集合：訓練集、測試集以及驗證集；每一集合中均包含一定數量的彩色人臉圖像及對應的人臉標簽圖像。

4.根據權利要求1所述的一種人臉編輯方法，其特征在于，所述深度神經網絡模型為全卷積深度神經網絡模型，依次包括，輸入層，卷積層，非線性層，池化層，去卷積層，剪裁層，融合層與損失層。

5.根據權利要求1所述的一種人臉編輯方法，其特征在于，所述的人臉編輯操作包括人臉美化、人臉轉換、人臉融合、人臉化妝中的一種或多種。

6.根據權利要求5所述的一種人臉編輯方法，其特征在于，

人臉美化包括：確定臉部皮膚對應的人臉標簽圖像，并對其進行SD濾波處理；

人臉轉換包括：將原始人臉圖像與樣例人臉圖像進行人臉關鍵點檢測；通過關鍵點計算相似變換，將樣例人臉圖像對齊到原始人臉圖像上；再將對齊后的樣例人臉圖像中的相關區域與原始圖像做泊松融合；

人臉融合包括：假設需要將原始圖像I，與樣例融合圖像Y融合，則相應的操作步驟如下：首先，檢測兩張圖像的人臉關鍵點，每張圖像得到80個人臉關鍵點；其中68個為臉部區域的人臉關鍵點，剩余的關鍵點取自每張圖的邊界：4個頂點和每條邊的2個三等分點；然后，將樣例融合圖像Y上的每一個三角形通過仿射變換對應到原始圖像I上，借助alpha-blended算法，將兩個對應三角形的每個像素融合在一起，相關公式如下：

C(p)＝(1-γ)I(p)+γY(p)

其中，原始圖像I與樣例融合圖像Y中的每一三角形均由各自圖像中的3個人臉關鍵點組成，借由80個人臉關鍵點組成的所有三角形正好平鋪整張圖像；C表示最終的結果圖像，p表示三角形中的每個像素，γ表示兩張圖像的融合比率，0≤γ≤1；

人臉化妝包括：在人臉融合操作的基礎上，通過改變γ的值，從而獲得自動化妝的效果。