[發明專利]一種人臉圖像超分辨率重構方法

有效

• 申請號: 201210539818.1
• 申請日: 2012-12-12
• 公開（公告）號: CN103020936A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 湖北微駕技術有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 鄧寅杰

1.一種人臉圖像超分辨率重構方法，其特征在于：其包括以下步驟：

步驟1）、首先取輸入低分辨率人臉圖像I和K個與輸入低分辨率人臉圖像I的歐氏距離最近的低分辨率參考人臉圖像I_k(x)，低分辨率參考人臉圖像I_k(x)經仿射平移算子平移p個單位后的圖像為I_k(x+p)；

步驟2）、對步驟1）中輸入低分辨率人臉圖像I和K個與輸入低分辨率人臉圖像I的歐氏距離最近的低分辨率參考人臉圖像I_k(x)分別用復合重心有理插值算法進行插值放大，插值放大后的圖像分別依次記為I_l↑和I_l↑,k,k=1,2,…,K，然后，采用光流法并利用I_l↑和I_l↑，k來獲得高分辨率圖像光流場；令K個參考樣本在x處的配準誤差為E_r，k(x)，k=1、2、…、K，它可以由下式計算得到：式中代表利用光流場對I_l↑，k進行配準后生成的圖像；將E_r，k(x)代入式(1.1)

bk(x)=[Σq∈ΩEr,k(x+q)+ueps]-2Σk[Σq∈ΩEr,k(x+q)+ueps]-2---(1.1)]]>

B_x＝diag[b₁(x)b₂(x)…b_k(x)]???????????????(1.2)

其中,u_eps是一個用以避免分母為0正常數，Ω是一個鄰域窗口,其大小為7×7像素點，反映了參考樣本在像素點x附近平移q個單位的配準誤差；求解B_x，所求得的B_x作為平衡局部嵌入系數的權重代入式(2)；配準后的高分辨率參考樣本與目標圖像在像素點x處具有近似相同的嵌入系數，其嵌入系數按如下公式計算：

{wp(x)|p∈C,x∈G}=argminΣxγ2×[h(x)-Σp∈Ch(x+p)wp(x)]TBx·]]>

[h(x)-Σp∈Ch(x+p)wp(x)]+Σp∈C(Σx|▿wp(x)|)---(2)]]>

式中:G代表高分辨率圖像中所有可能的像素點位置;γ用于平衡式(2)中加號前后兩項的貢獻度大小,γ＝0.5；前一項反映了w_p(x)應當滿足的局部嵌入關系；后一項是其總變差；為了求解式(2),采用基于時變偏微分方程的方法來迭代求解w_p(x)：

∂wp(x)∂t=▿(▿wp(x)|▿wp(x)|)-γhT(x+p)Bx×[Σq∈Ch(x+p)wq(x)-h(x)]]]>

式中為嵌入系數隨時間t的變化量；離散化上式就可以求得局部嵌入系數w_p(x)的數值解；

所述復合重心有理插值算法具體為：

Step?2.1:將低分辨率人臉圖像I和K個與輸入低分辨率人臉圖像I的歐氏距離最近的低分辨率圖像中的每一個圖像分別分解為紅、綠、藍三個色彩通道，在每個通道分別以4×4像素點大小的鄰域窗口中的像素值作為插值節點對應的輸入圖像像素f(x_i,y_j)；

Step?2.2:由式（1）進行插值計算；每計算完一次，按照從左至右，從下到上進行掃描逐步計算所得的結果，把所計算的序列結果存入目標圖像數組中，作為最后插值放大后的圖像；放大后的圖像分別記為I_l↑和I_l↑,k,k=1,2,…,K;

所述復合重心有理插值的數學模型為：

R(x,y)=Σi=0n-d1λi(x)ri(x,y)Σi=0n-d1λi(x)---(1)]]>

其中，

ψk(x,y)=Σl=kk+d2(-1)ly-ylf(x,yl)Σl=kk+d2(-1)ly-ylk=0,1,...,m-d2]]>

λi(x)=(-1)i(x-xi)(x-xi+1)...(x-xi+d1)]]>

λi(y)=(-1)k(y-yk)(y-yk+1)...(y-yk+d2)]]>

m,n為正整數，在這里取m＝3,n＝3；x_i,y_j為插值節點，f(x_i,y_j)為節點對應的輸入圖像像素值，R(x,y)為輸出放大后圖像像素值；

步驟3）、將步驟2）中求得的局部嵌入系數w_p(x)的數值解代入重構模型計算超分辨率重構圖像；所述重構模型的計算方法為：首先，將局部嵌入系數w_p(x)的數值解代入式（3）對目標圖像按下式（3）進行最大后驗概率估計：

I^h=argIhminQ(Ih)=argIhmin||DBIh-I1||2+λΣx||Ih(x)-Σp∈CIh(x+p)wp(x)||2---(3)]]>

式中Q(I_h)是關于高分辨率人臉圖像列向量的代價函數；Q(I_h)中的前一項是數據項,它代表所求的高分辨率圖像，圖像經過降質后應與已知的觀察樣本保持一致；后一項是先驗項,它限定了重構圖像中所有像素點與其鄰近點之間所應滿足的線性嵌入關系；參數λ用來平衡數據項和先驗項的相對貢獻大小；

式(3)中I_h(x)的計算公式為

Ih(x)=Σp∈CIh(x-p)wp(x)---(4)]]>

式中:p為像素點x與其鄰近點之間的空間偏移量；C為以x為中心的鄰域窗口,它限定了p的取值范圍，則0≤p≤1；w_p(x)為對應于鄰近點(x+p)的線性嵌入系數；

式(3)中I₁的計算公式如下：

I₁＝DBI_h+n????????????????⑸

I₁為低分辨率人臉圖像的列向量，其維數為N₁；I_h為高分辨率人臉圖像的列向量，其維數為N₂；B為由高斯型點擴散函數產生并且對應于成像過程中的模糊矩陣,其尺寸為N₂×N₂；D為大小為N₁×N₂的下采樣矩陣；n為均值為0的加性高斯白噪聲；

將式(3)中的Q(I_h)寫成如下矩陣運算形式,即

Q(Ih)=||DBIh-I1||2+λ||(E-Σp∈CWpS-p)Ih||2---(6)]]>

式中:S_-p為平移量為p的平移算子,它是尺寸為N₂×N₂的矩陣;W_p為N₂×N₂的對角矩陣,其中每1個對角元素對應于1個像素點x在p方向的線性嵌入系數w_p(x)；E為與S_-p和W_p相同大小的單位矩陣；這樣，Q(I_h)的梯度可以表示為

∂Q(Ih)∂Ih=2BTDT(DBIh-I1)+2λ(E-Σp∈CWpS-p)T(E-Σp∈CWpS-p)Ih---(7)]]>

利用式(7)求得關于I_h(x)的代價函數的梯度值，將所求得代價函數的梯度值代入下面式(8)用梯度下降法迭代求得最終的超分辨率重構目標圖像

I^ht+1=I^ht-β∂Q(Ih)∂Ih|h=I^ht---(8)]]>

式中:t為當前的迭代次數；β為迭代步長,β取0.3；令迭代的初始值為對輸入圖像進行復合重心有理插值放大后的圖像；

步驟3）、輸出步驟2）中式(8)所估計的超分辨率重構目標圖像