[發(fā)明專利]一種改進(jìn)人臉圖像超分辨率重構(gòu)方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201210540992.8
• 申請(qǐng)日: 2012-12-12
• 公開（公告）號(hào): CN103020937A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 湖北微駕技術(shù)有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06K9/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 鄧寅杰

1.一種改進(jìn)人臉圖像超分辨率重構(gòu)方法，其特征在于：其包括以下步驟：

步驟1）、首先取輸入低分辨率人臉圖像I和K個(gè)與輸入低分辨率人臉圖像I的歐氏距離最近的低分辨率參考人臉圖像I_k(x)，低分辨率參考人臉圖像I_k(x)經(jīng)仿射平移算子平移p個(gè)單位后的圖像為I_k(x+p)，取K＝6；

步驟2）、對(duì)步驟1）中輸入低分辨率人臉圖像I和K個(gè)與輸入低分辨率人臉圖像I的歐氏距離最近的低分辨率參考人臉圖像I_k(x)分別用復(fù)合重心有理插值算法進(jìn)行插值放大，插值放大后的圖像分別依次記為I_l↑和I_l↑，k,k=1,2,…,K，然后，采用光流法并利用I_l↑和I_l↑，k來獲得高分辨率圖像光流場(chǎng)；令K個(gè)參考樣本在x處的配準(zhǔn)誤差為E_r，k(x)，k=1、2、…、K，它可以由下式計(jì)算得到：式中代表利用光流場(chǎng)對(duì)I_l↑,k進(jìn)行配準(zhǔn)后生成的圖像；將E_r，k(x)代入式(1.1)

bk(x)=[Σq∈ΩEr,k(x+q)+ueps]-2Σk[Σq∈ΩEr,k(x+q)+ueps]-2---(1.1)]]>

B_x＝diag[b₁(x)b₂(x)…b_k(x)]????(1.2)

其中,u_eps是一個(gè)用以避免分母為0正常數(shù)，Ω是一個(gè)鄰域窗口,其大小為7×7像素點(diǎn)，反映了參考樣本在像素點(diǎn)x附近平移q個(gè)單位的配準(zhǔn)誤差；求解B_x，所求得的B_x作為平衡局部嵌入系數(shù)的權(quán)重代入式(2)；配準(zhǔn)后的高分辨率參考樣本與目標(biāo)圖像在像素點(diǎn)x處具有近似相同的嵌入系數(shù)，其嵌入系數(shù)按如下公式計(jì)算：

{wp(x)|p∈C,x∈G}=argminΣxγ2×[h(x)-Σp∈Ch(x+p)wp(x)]TBx·]]>

[h(x)-Σp∈Ch(x+p)wp(x)]+Σp∈C(Σx|▿wp(x)|)---(2)]]>

式中:G代表高分辨率圖像中所有可能的像素點(diǎn)位置;γ用于平衡式(2)中加號(hào)前后兩項(xiàng)的貢獻(xiàn)度大小,γ＝0.5；前一項(xiàng)反映了w_p(x)應(yīng)當(dāng)滿足的局部嵌入關(guān)系；后一項(xiàng)是其總變差；為了求

解式(2),采用基于時(shí)變偏微分方程的方法來迭代求解w_p(x)：

∂wp(x)∂t=▿(▿wp(x)|▿wp(x)|)-γhT(x+p)Bx×[Σq∈Ch(x+p)wq(x)-h(x)]]]>

式中為嵌入系數(shù)隨時(shí)間t的變化量；離散化上式就可以求得局部嵌入系數(shù)w_p(x)的數(shù)值解；

所述復(fù)合重心有理插值算法具體為：

Step?2.1:將低分辨率人臉圖像I和K個(gè)與輸入低分辨率人臉圖像I的歐氏距離最近的低分辨率圖像中的每一個(gè)圖像分別分解為紅、綠、藍(lán)三個(gè)色彩通道，在每個(gè)通道分別以4×4像素點(diǎn)大小的鄰域窗口中的像素值作為插值節(jié)點(diǎn)對(duì)應(yīng)的輸入圖像像素f(x_i,y_j)；

Step?2.2:由式（1）進(jìn)行插值計(jì)算；每計(jì)算完一次，按照從左至右，從下到上進(jìn)行掃描逐步計(jì)算所得的結(jié)果，把所計(jì)算的序列結(jié)果存入目標(biāo)圖像數(shù)組中，作為最后插值放大后的圖像；放大后的圖像分別記為I_l↑和I_l↑,k,k=1,2,…,K;

所述復(fù)合重心有理插值的數(shù)學(xué)模型為：

R(x,y)=Σi=0n-d1λi(x)ri(x,y)Σi=0n-d1λi(x)---(1)]]>

其中，

ψk(x,y)=Σl=kk+d2(-1)ly-ylf(x,yl)Σl=kk+d2(-1)ly-ylk=0,1,...,m-d2]]>

λi(x)=(-1)i(x-xi)(x-xi+1)...(x-xi+d1)]]>

λi(y)=(-1)k(y-yk)(y-yk+1)...(y-yk+d2)]]>

m,n為正整數(shù)，在這里取m＝3,n＝3；x_i,y_j為插值節(jié)點(diǎn)，f(x_i,y_j)為節(jié)點(diǎn)對(duì)應(yīng)的輸入圖像像素值，R(x,y)為輸出放大后圖像像素值；

步驟3）、將步驟2）中求得的局部嵌入系數(shù)w_p(x)的數(shù)值解代入重構(gòu)模型計(jì)算超分辨率重構(gòu)圖像；所述重構(gòu)模型的計(jì)算方法為：首先，將局部嵌入系數(shù)w_p(x)的數(shù)值解代入式（3）對(duì)目標(biāo)圖像按下式（3）進(jìn)行最大后驗(yàn)概率估計(jì)：

I^h=argIhminQ(Ih)=argIhmin||DBIh-I1||2+λΣx||Ih(x)-Σp∈CIh(x+p)wp(x)||2---(3)]]>

式中Q(I_h)是關(guān)于高分辨率人臉圖像列向量的代價(jià)函數(shù)；Q(I_h)中的前一項(xiàng)是數(shù)據(jù)項(xiàng),它代表所求的高分辨率圖像，圖像經(jīng)過降質(zhì)后應(yīng)與已知的觀察樣本保持一致；后一項(xiàng)是先驗(yàn)項(xiàng),它限定了重構(gòu)圖像中所有像素點(diǎn)與其鄰近點(diǎn)之間所應(yīng)滿足的線性嵌入關(guān)系；參數(shù)λ用來平衡數(shù)據(jù)項(xiàng)和先驗(yàn)項(xiàng)的相對(duì)貢獻(xiàn)大小；

式(3)中I_h(x)的計(jì)算公式為

Ih(x)=Σp∈CIh(x-p)wp(x)---(4)]]>

式中:p為像素點(diǎn)x與其鄰近點(diǎn)之間的空間偏移量；C為以x為中心的鄰域窗口,它限定了p的取值范圍，則0≤p≤1；w_p(x)為對(duì)應(yīng)于鄰近點(diǎn)(x+p)的線性嵌入系數(shù)；

式(3)中I₁的計(jì)算公式如下：

I₁＝DBI_h+n????????????????????????????⑸

I₁為低分辨率人臉圖像的列向量，其維數(shù)為N₁；I_h為高分辨率人臉圖像的列向量，其維數(shù)為N₂；B為由高斯型點(diǎn)擴(kuò)散函數(shù)產(chǎn)生并且對(duì)應(yīng)于成像過程中的模糊矩陣,其尺寸為N₂×N₂；D為大小為N₁×N₂的下采樣矩陣；n為均值為0的加性高斯白噪聲；

將式(3)中的Q(I_h)寫成如下矩陣運(yùn)算形式,即

Q(Ih)=||DBIh-I1||2+λ||(E-Σp∈CWpS-p)Ih||2---(6)]]>

式中:S_-p為平移量為p的平移算子,它是尺寸為N₂×N₂的矩陣;W_p為N₂×N₂的對(duì)角矩陣,其中每1個(gè)對(duì)角元素對(duì)應(yīng)于1個(gè)像素點(diǎn)x在p方向的線性嵌入系數(shù)w_p(x)；E為與S_-p和W_p相同大小的單位矩陣；這樣，Q(I_h)的梯度可以表示為

∂Q(Ih)∂Ih=2BTDT(DBIh-I1)+2λ(E-Σp∈CWpS-p)T(E-Σp∈CWpS-p)Ih---(7)]]>

利用式(7)求得關(guān)于I_h(x)的代價(jià)函數(shù)的梯度值，將所求得代價(jià)函數(shù)的梯度值代入下面式(8)用梯度下降法迭代求得最終的超分辨率重構(gòu)目標(biāo)圖像

I^ht+1=I^ht-β∂Q(Ih)∂Ih|h=I^ht---(8)]]>

式中:t為當(dāng)前的迭代次數(shù)；β為迭代步長,β取0.3；令迭代的初始值為對(duì)輸入圖像進(jìn)行復(fù)合重心有理插值放大后的圖像；

步驟3）、輸出步驟2）中式(8)所估計(jì)的超分辨率重構(gòu)目標(biāo)圖像