[發明專利]一種基于局部遮擋條件下的圖像換臉方法

有效

• 申請號: 201910647968.6
• 申請日: 2019-07-18
• 公開（公告）號: CN110458752B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 樊養余;劉洋;黃炎輝;郭哲;呂國云;齊敏;李文星;殷麗麗
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V40/16;G06V10/20;G06V10/26;G06T7/33;G06T17/00;G06T15/04;G06T15/60;G06T5/00
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種基于局部遮擋條件下的圖像換臉方法，其特征在于包括下述步驟：

步驟1：對輸入圖像及目標圖像進行預處理；

對輸入圖像I_S及目標圖像I_T中的遮擋物進行標注，然后利用標注點對遮擋物做遮擋物提取，即將遮擋物按其輪廓分割，分別對輸入圖像I_S及目標圖像I_T進行遮擋物及人臉區域分割，無遮擋物時,則不進行遮擋物分割只進行人臉區域分割,當人臉圖像存在人臉本身之外的圖像遮擋物時，以遮擋物外形為分割輪廓,將遮擋物進行摳圖分割，由此分割出遮擋物區域及人臉區域；人臉區域的分割以人臉外形的平滑輪廓為分割標準，按面部輪廓進行人臉區域摳圖提取,保證將面部主要器官如眼睛、眉毛、鼻嘴區域包括在人臉區域內；人臉區域劃分為無遮擋區域B₀與遮擋區域B_oc；

步驟2：采用基于圖像的人臉三維低分辨率模型進行人臉姿態的配準，利用雙線性模型優化算法建立輸入圖像人臉三維的低分辨率模型F_S與目標圖像人臉三維的低分辨率模型F_T，其中人臉低分辨率模型的建立步驟如下：

標注輸入圖像I_S及目標圖像I_T中的人臉特征點及FaceWarehouse數據庫中的三維人臉模型中的人臉特征點，由此給定FaceWarehouse數據庫中的三維人臉模型的張量核Cr，圖像中人臉的三維幾何模型F表示為：

F＝R×(Cr×ω_id×ω_exp)+T (1)

其中：ω_id與ω_exp分別為當前人臉的身份特征向量與表情特征向量，R與T分別表示當前人臉在空間中的旋轉矩陣與平移向量，投影后的人臉表面每個像素的位置與該點的深度以及相機焦距有關，投影計算表示為：

其中f表示相機焦距，F_x，F_y，F_z分別表示三維幾何模型F中頂點的x坐標，y坐標與z坐標，P_x與P_y表示三維幾何模型F中頂點投影后的二維坐標，對三維幾何模型F投影后表示為：

F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T (3)

其中Q(f)表示公式(2)中的投影集合形式，F_2D表示對三維幾何模型F進行投影后的人臉模型函數，{q_i}為輸入圖像中人臉特征點的2D坐標集合，則由{q_i}與F_2D建立模型特征目標函數：

其中i為坐標集{q_i}中第i個人臉特征點，R，T，f，ω_id，ω_exp為未知參數，L表示特征點的個數，從二維特征點重建三維人臉模型即求該目標函數最小化的最優解：

其中R^*，T^*，f^*，分別表示R，T，f，ω_id，ω_exp參數的待求最佳值，將待求解的變量分為四組，即{R,T}，{f}，{ω_id}以及{ω_exp}，對四組變量進行初始化，固定其中任意三組變量，僅對一組變量進行優化求解，更新所求得的一組變量值后，再依次對其余三組變量進行循環迭代，將已求出的此組變量進行固定，對其余待求變量進行求解，在對ω_id與ω_exp變量進行求解時，加入關于ω_id與ω_exp的規則化項，進一步對ω_id與ω_exp約束，以避免出現畸形人臉；ω_id與ω_exp的規則化項為：

其中E_{reg_id}、E_{reg_exp}分別表示ω_id與ω_exp的規則化項，分別表示ω_id與ω_exp的數學期望，cov^-1(U_id)、cov^-1(U_exp)分別表示ω_id與ω_exp的方差；

加入規則化項后的人臉身份特征ω_id與表情特征ω_exp計算避免出現人臉畸變，為參數最優解；

則圖像中人臉的三維幾何模型F的優化函數表示為：

其中w₁與w₂分別對應規則化項E_{reg_id}與E_{reg_exp}的權重；

圖像中人臉的三維幾何模型F的優化函數的具體計算步驟如下：

初始化時，人臉姿態R為單位矩陣，T為零向量，相機焦距f取鼻尖與后腦勺距離的10倍，并初始化與先對人臉姿態R與T進行求解，此時優化問題變為：

其中f_c,ω_id,c與ω_exp,c分別為固定{R,T}變量后的當前計算結果，在計算出人臉姿態R與T之后，再依次對ω_id與ω_exp優化計算，首先計算ω_id，固定R，T，f，ω_exp后，優化問題為：

其中B_exp,c＝Cr×_expω_exp,c，表示張量核與當前人臉表情特征向量的模乘，此時張量核Cr收縮為二維矩陣B_exp,c；同理可得關于ω_exp的優化結果為：

最后對焦距f進行優化，優化問題為：

其中S_c＝Cr×_idω_id,c×_expω_exp,c，上式為關于f的線性優化，f具有最小二乘解，重復計算公式(9)、(10)、(11)、(12)，當公式(8)的圖像中人臉的三維幾何模型F的優化函數下降至低于閾值或超過最大迭代次數時，停止迭代，得到人臉姿態R與T，相機焦距f與人臉身份特征ω_id和表情特征ω_exp的最優解，即人臉低分辨率模型的各個參數；

步驟3：姿態變換及局部變形處理；

將輸入圖像I_S及目標圖像I_T分別輸入步驟2得到人臉低分辨率模型F_S與F_T，分別得到人臉姿態(R_S,T_S)與(R_T,T_T)，相機參數f_S與f_T，將輸入圖像I_S的人臉姿態函數記為H_S＝(R_S,T_S,f_S)，目標圖像I_T的人臉姿態函數記為H_T＝(R_T,T_T,f_T)；其中，Rs、Ts分別表示步驟2求得的輸入圖像的人臉低分辨率模型在空間中的旋轉矩陣與平移向量，R_T、T_T分別表示步驟2求得的目標圖像的人臉低分辨率模型在空間中的旋轉矩陣與平移向量，f_S與f_T分別為輸入圖像與目標圖像的相機參數；

利用人臉姿態函數H_S將F_S投影至圖像空間，使輸入圖像的人臉低分辨率模型F_S與輸入圖像I_S中的人臉重合；對于輸入圖像I_S人臉區域的每個像素，利用人臉低分辨率模型F_S的人臉姿態函數，生成紋理模型T_S，將T_S按照目標人臉姿態與相機參數H_T進行坐標投影，將投影的T_S與目標圖像I_T中的人臉區域進行重合，得到姿態變換后的人臉圖像I′_S，完成人臉姿態變換；

為進一步建立輸入人臉與目標人臉的像素對應關系，需要對人臉區域變形，在遮擋區域標注稀疏控制點，通過對目標圖像I_T的控制點坐標變換，變換后將I′_T與I′_S的二維特征點重合，則各圖像中人臉五官與輪廓基本對齊；遮擋物輪廓標注點表示遮擋物體控制點，輸入圖像與目標圖像中人臉特征點重合的點為不動控制點，在變形過程中遮擋物體控制點與不動控制點不發生位移，經控制點變形后，人臉特征區域已基本對齊；

所述控制點的坐標變換的步驟如下：

對目標圖像中的像素點p定義全局變形函數f(p)，即將像素點p坐標生成坐標集合函數，當圖像中的控制點{p_i}移動時，在目標人臉特征點影響下像素點p發生位移，其新坐標p′由變形函數f(p)決定，即p′＝f(p)，則對p′的求解轉化為對f(p)解析表達式的求解，f(p)應滿足的約束條件：

其中q_i表示控制點p_i位移后的新坐標，最小化||f(p_i)-q_i||²表示f(p)滿足控制點p_i產生的變形；當存在多個控制點時，該約束變為加權最小二乘，w_i即對應的權重，f(p)大小與像素點p到p_i的距離成反比；f(p)最優變形為f(p)＝Mp+T，其中M表示二維反射變換矩陣，T表示二維平移向量，f(p)為關于p的線性函數，將f(p)＝Mp+T代入式(13)，得到關于M與T的最小二乘約束：

在求解得到M與T后，即得到像素p變形后的新坐標p′＝Mp+T，假設已得到變形后的圖像，其像素坐標p′為整數坐標，而控制點由{q_i}反向移動至{p_i}，經反向計算后，得到p′對應變形前的坐標p；

步驟4：局部遮擋條件下的拉普拉斯金字塔重建；

對于局部遮擋條件下的圖像換臉，當I′_T的人臉區域存在遮擋時，圖像換臉過程需要保持遮擋物的不變，并用拉普拉斯金字塔重建方法替換遮擋物下面的人臉；遮擋物的人臉替換將目標圖像分為三層，頂層圖像為遮擋物體，其區域范圍B_oc由圖像預處理步驟獲得，中層為預處理后的輸入圖像中的人臉區域，底層圖像為預處理后的目標圖像中的人臉外圍區域，將三層圖像疊加，再將疊加后圖像通過拉普拉斯金字塔重建得到I_out，最終合成圖像I_Bad；

所述拉普拉斯金字塔重建合成的具體步驟如下：

首先保證圖像中人臉的光照與顏色分布保持不變，疊加圖像的拉普拉斯金字塔頂層即為目標圖像的旋轉矩陣分量R_T，帶通分量為對應金字塔的前n-1層；將各頻帶分量疊加，得到I_out：

對I′_S與I′_T分別按照公式(15)進行拉普拉斯金字塔分解，得到各層拉普拉斯圖像；拉普拉斯金字塔的前n-1層，分別對應圖像中不同頻帶上的人臉特征；當人臉區域存在遮擋物體時，I_out的細節特征分為兩部分，一部分是無遮擋的人臉區域，該區域的人臉特征來源于I′_S中的人臉特征；另外一部分是遮擋區域，圖像人臉特征來源于I′_T中遮擋物體的自身人臉特征；對得到的拉普拉斯金字塔各層進行高斯濾波，同時根據標記的圖像分割結果B_oc，利用公式(15)的頻帶疊加對遮擋區域的頻帶特征分量進行提取，最后將R_T與各層平滑拼接，得到合成輸出圖像I_Bad。

2.根據權利要求1所述的一種基于局部遮擋條件下的圖像換臉方法，，其特征在于：步驟4中所述平滑拼接的具體步驟為：

對遮擋物邊緣區域進行定義，利用拉普拉斯金字塔重建方法對存在遮擋物的圖像的拉普拉斯分量進行分層單獨計算，通過各層拉普拉斯圖像與遮擋邊緣區域的分量相加得到，經拉普拉斯分量分層處理后，得到合成輸出圖像；

所述遮擋物邊緣區域的拉普拉斯分量分層處理計算詳細步驟如下：

首先對遮擋物邊緣區域進行標注，標注范圍為遮擋物形狀的輪廓區域，給定邊緣區域的定義后，目標圖像拉普拉斯金字塔的第i層在區域內由以下三部分組成：

其中為遮擋物內部在該區域貢獻的分量，為目標人臉本身的拉普拉斯分量；為遮擋物體與人臉作用后的分量，包括投射陰影、遮擋物邊緣以及成像噪聲，表示為：

其中G_special(2ⁱ)表示經高斯濾波后的高斯金字塔圖像，G_special(2ⁱ)中每個像素是局部加權平均后的結果，高斯濾波處理后的圖像像素值只與遮擋物體外圍區域有關，不受遮擋物自身像素值影響，將G_special(2ⁱ)從中去除后，即可得到

換臉過程的目標是替換人臉的拉普拉斯分量，將替換為其中，為目標圖像人臉區域的拉普拉斯金字塔圖像的帶通分量，為目標圖像去處高斯濾波后圖像特征的帶通分量，為輸入圖像人臉區域的帶通分量，為：

其中為合成圖像I_out在區域的拉普拉斯圖像，計算出在對遮擋物邊緣區域的拉普拉斯圖像用公式(18)計算后，通過各層拉普拉斯圖像與R_T相加，最終得到合成圖像I_Bad。