[發明專利]一種結構約束和樣本稀疏表示相結合的圖像修復方法

在審

• 申請號: 201310641780.3
• 申請日: 2013-12-03
• 公開（公告）號: CN103745432A
• 公開（公告）日: 2014-04-23
• 發明（設計）人: 唐向宏;康佳倫;任澍;李齊良
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 杜軍

1.一種結構約束和樣本稀疏表示相結合的圖像修復方法，其特征在于：

步驟1：獲取和修復圖像的邊緣信息，具體是：

利用sobel算子得到圖像的邊緣信息，找到待修復邊界與邊緣信息的交點，將交點分成兩個子集；采用計算最小方向向量夾角的方法，將點集P進行歸類，將其分為兩個子集P1和P2；采用計算兩點之間最短歐式距離的方法，尋找兩個子集中對應的連接點，具體算法：

首先，定義每個點在其所在邊緣輪廓線C_i上的方向向量：

SPi→=0.5*(P→i,1-P→i,2)+0.25*(P→i,2-P→i,3)+0.25*(P→i,3-P→i,4)---(1)]]>

其中，為點p_i，j的坐標向量，然后，求出點集P中每一個點的單位方向向量，任取其中一點P_i，放入子集P1中，然后遍歷點集P，求出與P1中的所有點的方向向量夾角和最小的點，記為P_m，放入子集P1中：

Pm∈P1,iffΣPi∈P1θ(SPi→,SPm→)=minPn∈P-P1{ΣPi∈P1θ(SPi→,SPn→)}---(2)]]>

其中，θ(·,·)為兩向量之間的夾角；當且僅當(iff)滿足式(2)右邊部分時，將P_m放入子集P1中；循環式(2)直到所有點都進行了分類；

最后，取子集P1中的最邊上的一個點，計算與其距離最短的子集P2中的對應點，將這兩個點對應的曲線進行二次多項式曲線擬合，得到修復的邊緣輪廓信息；

步驟2：引入窄帶修復模型，通過修復后的邊緣信息的約束，優先修復結構信息，具體是：

設Ψ_p為當前待修復塊，將該輪廓線上的所有圖像塊作為表示Ψ_p的一組基，則稀疏表示可表述為：

式（3）中，D_qi＝(d_q1,…,d_qm,…,d_qn,…,d_qM,)，d_qi為每個Ψ_qi轉換而成的列向量，在稀疏表示中稱為原子；對于待修復圖像塊的未知像素點，用局部自相似平均的方法來估計：

ωp,qi=1Z(p)exp(-d(MΨP-MΨqi)σ2)---(4)]]>

Z(p)=Σi=1Nexp(-d(MΨP-MΨqi)σ2)---(5)]]>

式中，ω_p,qi為Ψ_p與Ψ_qi的相似度，d(·,·)為圖像塊間的歐氏距離，M為Ψ_p的掩膜矩陣，保證Ψ_p的有效性，Z(p)為歸一化系數，使得σ控制自相似度的衰減速度；

由此可求得待修復塊Ψ_p的估計值：

待修復塊填充后的像素值理論上應與估計值保持一致，因此用來約束Ψ_p的未知區域，同樣是在基下的約束：

式中，β是平衡系數，用來平衡式（3）和式（7）的約束強度，M為Ψ_p的掩膜矩陣，已知像素為“0”，未知像素為“1”，與式(3)中的相對應，而與式(5)中的M無關；最終，系數a可以聯立式（3）和式（7）得到：

式（8）中

最后用求得的系數a和字典D_qi重構Ψ_p；假設Ω為當前待修復區域邊界，重構得到Ψ_p后只更新Ψ_p中標記為Ω的值，即只修復窄帶上的像素，修復完成后更新已修復點的信息置信度C，用于優先權的計算；當前邊界Ω上的所有在輪廓線上的點都得到修復后，更新Ω；

步驟3：利用平移塊的稀疏表示方法修復紋理信息，具體是：

為了增加字典可靠性，采用塊平移的方法來改善塊內有效信息過少的不足；假設f是與原圖像相同大小的二值圖像，其待修復區域Ω的值為1，已知區域的值為0，則p點的Ω法線方向近似為p點在f中的梯度方向，定義水平平移量h(p)和垂直平移量v(p)分別為：

h(p)＝f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)-f(i-1,j+1)-f(i,j+1)-f(i+1,j+1)???(10)

v(p)＝f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)-f(i+1,j-1)-f(i+1,j)-f(i+1,j+1)???(11)

通過式（10）和式（11）對Ψ_p進行水平和垂直平移之后得到平移塊Ψ_ps作為新的待修復塊；采用SSD方法尋找平移塊的N個最相似塊作為稀疏編碼的候選塊，組成過完備集，記為用字典的形式表示為D_qs；得到字典后，進行稀疏表示：

其中

ΨT=MS‾ΨpsβMSΣpj∈Ns(p)ωps,pjΨpj,DT=MS‾DqsβMSDqs]]>

式中，為Ψ_ps的掩膜矩陣，已知像素為“1”，未知像素為“0”，MS則相反；N_S(p)為Ψ_ps鄰域的已知部分，ω_ps,pj為NS(p)中的塊Ψ_pj與Ψ_ps相似度，鄰域大小取50×50，由局部相似平均公式估計得到的值作為Ψ_ps的未知像素部分對Ψ_ps的約束，以保證修復后的結果與其局部鄰域的相關性；β是平衡系數；通過式(12)求得系數a并重構Ψ_ps，然后更新未知像素值。