[發明專利]一種基于局部遮擋條件下的圖像換臉方法

有效

• 申請號: 201910647968.6
• 申請日: 2019-07-18
• 公開（公告）號: CN110458752B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 樊養余;劉洋;黃炎輝;郭哲;呂國云;齊敏;李文星;殷麗麗
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V40/16;G06V10/20;G06V10/26;G06T7/33;G06T17/00;G06T15/04;G06T15/60;G06T5/00
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明提供了一種基于局部遮擋條件下的圖像換臉方法，輸入人臉圖像和目標人臉圖像由二維特征點進行描述，在輸入圖像和目標圖像上做相關人臉區域的劃分，建立起人臉區域對應的像素特征函數，并在人臉區域遷移的過程中無縫融合消除拼接邊界。利用圖像分層疊加的思路，通過拉普拉斯金字塔重建來合成最終輸出圖像。本發明最終合成的圖像無明顯修改拼接痕跡。通過與目前圖像換臉常用的泊松融合方法對比，很好的還原遮擋物體邊緣的圖像效果，特別是當遮擋物體在人臉區域有投射陰影的時候，遮擋物邊緣區域細節與泊松融合方法對比差異明顯，整體圖像換臉后的圖像效果協調自然，無明顯瑕疵。

技術領域

本發明涉及圖像處理和計算機圖形學技術領域，主要涉及一種基于局部遮擋條件下的目標圖像換臉方法。

背景技術

圖像換臉技術是指將輸入圖像中的用戶人臉自動移植到目標圖像中，替換掉目標圖像中的指定人臉，從而使圖像人臉自動融合到目標圖像中。圖像換臉的過程要求保持輸入圖像的人臉容貌特征及表情特征不變，但要與目標人臉姿態相匹配，并且最終合成的人臉圖像要有自然的整體效果，即要求換臉后的輸入人臉的膚色、妝容以及光照環境能夠與目標圖像相匹配。這一技術可以使輸入圖像的用戶具有代入感，增加圖像交互式體驗。目前該技術存在的主要問題是目標人臉圖像可能存在一些局部遮擋，例如眼鏡、頭發、衣物或配飾等，由于在人臉圖像中的局部遮擋具有復雜性和不可預料性，基于局部遮擋條件下的圖像換臉技術需要還原遮擋物體與人臉過渡區域的圖像效果，提高目標人臉圖像之間的移植魯棒性，使得到的合成照片真實感更強。

發明內容

為了克服現有技術的不足，本發明提供一種基于局部遮擋條件下的圖像換臉方法。在給定人臉替換的目標圖像的條件下，將輸入人臉圖像的主要面部區域進行人臉的替換。由于輸入人臉圖像和目標人臉圖像是由二維特征點進行描述的，在進行人臉替換時需要考慮圖像的空間姿態對齊問題，依據人臉低分辨率三維模型進行圖像姿態的調整。在輸入圖像和目標圖像上做相關人臉區域的劃分，建立起人臉區域對應的像素特征函數，并在人臉區域遷移的過程中無縫融合消除拼接邊界。在進行人臉圖像的換臉過程中，由于目標圖像中可能存在遮擋條件，換臉過程需要保持遮擋物不變，并替換遮擋物后的人臉區域，因此在進行人臉替換時需要充分考慮遮擋物疊加的平滑性。本發明利用圖像分層疊加的思路，通過拉普拉斯金字塔重建來合成最終輸出圖像，并對遮擋物所產生的混合邊緣和投射陰影進行優化，得到的換臉后的輸出圖像很好的還原了目標圖像的效果，整體效果協調自然。

本發明解決其技術問題所采用的技術方案的步驟如下：

步驟1：對輸入圖像及目標圖像進行預處理；

對輸入圖像I_S及目標圖像I_T中的遮擋物進行標注，然后利用標注點對遮擋物做遮擋物提取，即將遮擋物按其輪廓分割，分別對輸入圖像I_S及目標圖像I_T進行遮擋物及人臉區域分割，無遮擋物時,則不進行遮擋物分割只進行人臉區域分割,當人臉圖像存在人臉本身之外的圖像遮擋物時，以遮擋物外形為分割輪廓,將遮擋物進行摳圖分割，由此分割出遮擋物區域及人臉區域；人臉區域的分割以人臉外形的平滑輪廓為分割標準，按面部輪廓進行人臉區域摳圖提取,保證將面部主要器官如眼睛、眉毛、鼻嘴區域包括在人臉區域內；人臉區域劃分為無遮擋區域B₀與遮擋區域B_oc；

步驟2：采用基于圖像的人臉三維低分辨率模型進行人臉姿態的配準，利用雙線性模型優化算法建立輸入圖像人臉三維的低分辨率模型F_S與目標圖像人臉三維的低分辨率模型F_T，其中人臉低分辨率模型的建立步驟如下：

標注輸入圖像I_S及目標圖像I_T中的人臉特征點及FaceWarehouse數據庫中的三維人臉模型中的人臉特征點，由此給定FaceWarehouse數據庫中的三維人臉模型的張量核Cr，圖像中人臉的三維幾何模型F表示為：