[發明專利]一種利用分析性稀疏表示的超分辨率圖像重建方法

有效

• 申請號: 201210524716.2
• 申請日: 2012-12-08
• 公開（公告）號: CN103049885A
• 公開（公告）日: 2013-04-17
• 發明（設計）人: 寧強;陳侃;弋力;范楚楚;陸垚;溫江濤
• 申請（專利權）人: 新疆公眾信息產業股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06K9/66
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種基于分析法稀疏表示的超分辨率圖像重建方法，其特征在于,該方法包括:首先根據訓練樣本集進行字典的訓練，利用分析法的稀疏表示方式，對提取的特征訓練出高分辨率字典和低分辨率字典；對于待輸入的圖像，將其從RGB空間轉換入lαβ空間，分割成相同尺寸的塊，對這些塊進行兩種操作：一是將每一個塊利用現有的放大方法進行放大；二是提取塊的殘差圖像，計算出其在低分辨率字典中的稀疏表示，然后在高分辨率字典中進行重建，得到重建后的殘差圖像；將以上兩步的結果相加，并轉換回RGB空間中，進行逆投影后即可得到重建的超分辨率圖像。

2.如權利要求1所述的方法，其特征在于，該方法具體由字典訓練和超分辨率圖像重建兩部分組成，其中，

第一部分字典訓練，包括以下步驟：

11）設置訓練參數：包括用戶所要求的圖像放大倍數A，A>1，高分辨率圖像塊h_S的尺寸a1和低分辨率圖像塊l_S的尺寸a2為a1=A×a2，a1設置在20×20個像素以內，圖像塊數目N，以及約束系數ε，0＜ε＜1；

12）利用網絡資源在豐富的圖像資源中尋找并創建與待重建圖像類別相關的訓練樣本集，該訓練樣本集集分為兩部分，一部分為高分辨率樣本集，另一部分為低分辨率樣本集；具體過程為：尋找到一副圖片后，將其作為高分辨率樣本H_S；放入高分辨率樣本集，再對其進行A倍的降采樣，獲得縮小A倍后的低分辨率樣本L_S，將L_S放入低分辨率樣本集,最終使樣本集的圖片所包含的圖像塊數目大于N；

13）提取低分辨率樣本集中所有樣本的特征，對這些特征進行字典訓練，具體包括以下步驟：

13-1)將每一個低分辨率樣本L_S從RGB空間轉換到lαβ空間，轉換關系如式（1）：

lαβ=0.34750.82300.55590.21620.4316-0.64110.1304-0.1033-0.0268RGB---(1)]]>

13-2)取出每一個低分辨率樣本L_S的l分量，將四種濾波算子：

f₁＝[-1,0,1],f₃＝[1,0,-2,0,1],分別作用到l分量上，得到的四個結果重疊在一起作為低分辨率樣本L_S的單尺度特征，記為FL_S；

13-3)按照設置的參數a1和a2分別將所有高分辨率樣本H_S和所有低分辨率樣本L_S的單尺度特征FL_s打散成a1×a1、a2×a2的塊集合，從FL_S生成的a2×a2的塊集合中隨機取出N個塊，同時對每一個塊的上下左右四個鄰近塊，分別乘以權重系數后拉伸成列向量，續接在該塊拉伸成的列向量后，形成低分辨率圖像塊l_S的多尺度特征，記作F^ml_S，再從高分辨率樣本H_S生成的a1×a1塊集合中對應位置處取出N個高分辨率圖像塊h_S，也拉伸成列向量；

13-4)采用SPAMS工具包解出式（2）：

minDX,DY,γ||γ||1,s.t.||hSFmlS-DYDXγ||22<ϵ---(2)]]>

式（2）中D_Y為從訓練樣本集中訓練出的高分辨率字典，D_X為訓練樣本集中訓練出的低分辨率字典,γ為低分辨率圖像塊l_S的多尺度特征F^ml_S在字典D_X空間中的稀疏表示；

第二部分超分辨率圖像重建，包括以下步驟：

21）將待重建的低分辨率的輸入圖像X從RGB空間轉換到lαβ空間，轉換關系如式(1)中所示；

22）將f₁＝[-1,0,1],f₃＝[1,0,-2,0,1],四種濾波算子分別作用到該低分辨率圖像X的l分量上：

打散成a2×a2的塊集合，對每一個塊的上下左右四個鄰近塊乘以權重系數，后拉伸成列向量，續接在該塊拉伸成的列向量后，形成低分辨率圖像塊的l分量x_l的多尺度特征，記作F^mx_l，該權重系數取值在0到1之間；

23）對低分辨率圖像塊的l分量x_l重建成高分辨率圖像塊的l分量y_l，步驟如下：

23-1)采用SPAMS工具包，尋找x_l的多尺度特征F^mx_l在低分辨率字典D_X中的分析性稀疏表示，即：ylN=DY×argminα||α||1,s.t.||x~-D~α||22<ϵ]]>

（3）

x~=[Fmxl,0→]T,D~=[DX,PDX]T]]>

其中α為解出的x_l的多尺度特征F^mx_l的稀疏表示系數,是字典D_X的零空間的任意基向量，由奇異值分解后對應著奇異值為零的向量構成；

23-2)對待重建的高分辨率圖像塊的l分量y_l的方差進行預測，具體步驟為：

23-21)對低分辨率圖像x_l升采樣后再降采樣得到HUx_l，其中U為升采樣算子，H為降采樣算子；

23-23)將重建的高分辨率圖像塊的l分量y_l表示為：

yl=μylNσ(xl-HUxl)σ(ylN)---(4)]]>

其中μ為調節系數，σ(x_l-HUx_l)和σ(y_lN)分別為x_l-HUx_l和y_lN的標準差；

24)將低分辨率圖像塊x在lαβ空間中的α和β分量利用升采樣算子U得到對應的高分辨率分量y_α和y_β，將y_l與y_α和y_β組合即得到在lαβ空間中的重建的高分辨率的圖像塊y；

25)對式（1）求逆，將y從lαβ空間轉換回RGB空間中；

26)對在RGB空間中的重建的高分辨率圖像塊y，采用逆投影的方法進一步降低加入的噪聲，獲得高分辨率圖像塊y₀，具體步驟如下：

26-1)將重建的高分辨率圖像塊y進行降采樣H，獲得圖像塊

26-2)將對應的低分辨率的圖像塊x與降采樣H獲得的圖像塊作差，得到殘差Δx；

26-3)將殘差Δx進行Bicubic插值得到殘差Δy；

26-4)將重建的高分辨率圖像塊y與殘差Δy相加，得到逆投影值y′；

26-5)重復26-1)到26-4)，直至y′收斂，或當超過設定迭代次數最大值M時，停住逆投影過程；將y′的最終值作為重建的高分辨率圖像塊y₀；

27)將每一高分辨率圖像塊y₀按照對應的低分辨率圖像塊x的順序拼接即可得到重建的高分辨率圖像Y。