[發(fā)明專利]一種基于稀疏編碼系數(shù)匹配的圖像超分辨率復(fù)原方法

有效

• 申請?zhí)枺?/td>: 201510038946.1
• 申請日: 2015-01-26
• 公開（公告）號: CN104574320B
• 公開（公告）日: 2017-06-16
• 發(fā)明（設(shè)計）人: 李曉光;趙寒;卓力;郭立磊
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司11203
• 代理人: 劉萍

1.一種基于稀疏編碼系數(shù)匹配的圖像超分辨率復(fù)原算法，其特征在于：算法分為建立樣本庫和圖像重建兩部分；建立樣本庫部分包括進行稀疏字典的訓(xùn)練，圖像稀疏系數(shù)樣本庫的建立和樣本分類；圖像重建步驟包括圖像分類，稀疏表示，稀疏系數(shù)搜索匹配，稀疏重建整合四個步驟；圖像重建步驟首先將輸入的LR圖像分為紋理區(qū)域和非紋理區(qū)域，與此同時對LR圖像進行插值放大備用，選擇圖像的非平坦區(qū)域進行稀疏表示獲得稀疏系數(shù)wl，用獲得的稀疏系數(shù)在稀疏表示低分辨率圖像系數(shù)樣本庫中匹配搜索與其最接近的稀疏系數(shù)wl’，并用與wl’所對應(yīng)的wh’作為高分辨率圖像的稀疏系數(shù)，最后用wh’和Dh獲得稀疏重建的圖像細節(jié)，最終與LR插值的圖像相加得到超分辨率復(fù)原結(jié)果圖像；

所述的圖像稀疏系數(shù)樣本庫的建立和樣本分類方法，具體步驟如下：

高分辨率圖像和低分辨率圖像提取的稀疏系數(shù)wh’和wl’組成一個稀疏系數(shù)樣本對；對S幅彩色高分辨率自然圖像，分別進行2倍下采樣，下采樣方法采用bicubic插值方法，生成寬和高分別只有原自然圖像1/2大小的對應(yīng)低分辨率圖像；對于每一幅低分辨率圖像：先對其進行色彩空間轉(zhuǎn)換，從RGB轉(zhuǎn)換到Y(jié)CbCr空間，對得到的Y分量進行Bicubic插值放大2倍，得到Y(jié)分量插值圖像；對這個插值圖像進行梯度特征提取，提取圖像的4個梯度特征，生成一個4通道的特征圖像；按照從左到右從上到下的順序進行分塊，分成n×n大小的塊，展開成列向量后用字典Dl對其進行稀疏表示得到wl’；對每個塊進行稀疏表示得到對應(yīng)的稀疏系數(shù)，這樣所有的低分辨率稀疏系數(shù)組成稀疏系數(shù)樣本庫WL；與之對應(yīng)地，高分辨率圖像先進行空間轉(zhuǎn)換到Y(jié)CbCr空間，采取同樣的特征提取方法對Y分量提取特征得到特征圖像，也按照從左到右從上到下的順序進行分塊，分成n×n大小的塊，展開成列向量后用字典Dh對其進行稀疏表示得到wh’；對每個塊進行稀疏表示得到對應(yīng)的稀疏系數(shù)，這樣所有的高分辨率稀疏系數(shù)組成稀疏系數(shù)樣本庫WH；

對樣本進行聚類，將樣本分為k個類，以降低重建過程中的樣本搜索速度；聚類特征為wl’稀疏系數(shù)中非零項的個數(shù)，采用k均值聚類，得到k個聚類中心和對應(yīng)的樣本類，這樣，每個樣本類擁有一個聚類中心以及聚類得到的多個wl’系數(shù)和與之對應(yīng)的wh’系數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于稀疏編碼系數(shù)匹配的圖像超分辨率復(fù)原算法，其特征在于，所述的圖像分類，稀疏表示，稀疏系數(shù)搜索匹配和稀疏重建整合部分，具體步驟如下：

(1)圖像分類

首先，對圖像進行紋理分類，具體方法為：

選擇Sobel算子提取圖像像素點的梯度信息，采用4個方向模板對整幅圖像進行梯度值求取后，將圖像分為紋理區(qū)域和非紋理區(qū)域；

具體步驟是：計算閾值，TH＝0.06×g_max，其中g(shù)_max是整幅圖像中最大的梯度值；TH為門限閾值，作為判別像素點紋理分類的依據(jù)，0.06是經(jīng)驗值；

將圖像像素分為非紋理區(qū)域和紋理區(qū)域；當(dāng)像素點(i,j)位置的梯度值小于TH時該像素點就被劃分為非紋理區(qū)域；如果像素點(i,j)位置的梯度值不小于TH時該像素點就被劃分為紋理區(qū)；需要指出的是，這里劃分紋理區(qū)域是以單個點為單位進行劃分的，而實際進行超分辨率復(fù)原時，是在圖像中以單個塊為單位進行逐個處理的，而每個圖像塊中有時既包含紋理像素點也包含非紋理像素點，因此，定義一個新的閾值TN作為判別圖像塊是紋理塊或非紋理塊的依據(jù)；對于一個n×n大小的圖像塊而言，定義：如果一個圖像塊中的非紋理像素點個數(shù)大于TN則判定該塊為非紋理塊，跳過此塊，不對其進行稀疏重建；如果一個圖像塊中的非紋理像素點個數(shù)小于TN則判定該塊為紋理塊，對其進行稀疏重建；

(2)稀疏表示

對于一幅輸入的LR圖像，先對其進行Bicubic2倍上采樣，生成2倍放大的圖像BIm；根據(jù)以上所述圖像分類方法對其進行分類，將紋理像素用1表示，非紋理像素用0表示，得到原圖像的一個紋理模板圖像TpIm；需要指出的是，此時并不涉及圖像塊，而是對整幅圖像以像素點為單位進行紋理分類；與此同時，對BIm進行特征提取，得到特征圖像FeaIm；接著按照從左到右從上到下的順序?qū)eaIm取塊，塊大小為n×n；圖像塊用P_ii表示，ii代表圖像塊的序號，如P_ii，代表第ii個圖像塊；同時統(tǒng)計TpIm中與該塊對應(yīng)的區(qū)域中像素值為0的個數(shù)，若像素值為0的個數(shù)大于TN，根據(jù)前面所述該塊為非紋理塊，則不處理該塊，跳過它，繼續(xù)取下一個塊；若該塊對應(yīng)的區(qū)域在TpIm中的像素值為0的個數(shù)小于TN則根據(jù)前面所述該塊為紋理塊，對該塊進行稀疏表示，得到塊P_ii的稀疏系數(shù)wl_ii；

(3)稀疏系數(shù)搜索匹配

利用上一步驟中得到的P_ii的稀疏系數(shù)wl_ii，以及準(zhǔn)備好的稀疏系數(shù)樣本庫WL和WH進行搜索匹配尋找樣本庫中與wl_ii最接近的wl’，然后用wl’在樣本庫中所對應(yīng)的wh’作為高分辨率圖像塊的稀疏系數(shù)進行稀疏重建；wl_ii的搜索匹配具體過程如下：

首先計算wl_ii中非零項的個數(shù)，用un0_Nwl_ii表示；計算un0_Nwl_ii與k個稀疏系數(shù)樣本庫的聚類中心值的歐氏距離，選擇與un0_Nwl_ii歐氏距離最近的聚類中心所對應(yīng)的樣本庫作為搜索樣本庫；

然后，獲取wl_ii中正數(shù)項的最大值的位置，以及負數(shù)項最小值的位置；計算樣本庫WL中每個系數(shù)wl’的正數(shù)項的最大值的位置，以及負數(shù)項最小值的位置，尋找樣本庫中與wl_ii的兩個最值位置都相等的系數(shù)，將WL中所有滿足條件的wl’稀疏系數(shù)以及wl’所對應(yīng)的wh’存為臨時的新樣本W(wǎng)Lnew和WHnew；

計算wl_ii中正數(shù)項系數(shù)的所有位置，并計算wl_ii中負數(shù)項系數(shù)的所有位置，對臨時的新樣本W(wǎng)Lnew中所有系數(shù)也計算正數(shù)項系數(shù)的所有位置和負數(shù)項系數(shù)的所有位置，設(shè)wl_ii中正數(shù)項系數(shù)的總個數(shù)為pos_Nwl_ii負數(shù)項系數(shù)的總個數(shù)為neg_Nwl_ii；若樣本W(wǎng)Lnew中的系數(shù)與wl_ii中正項系數(shù)的位置相同的個數(shù)大于或者等于pos_Nwl_ii×ζ，并且與wl_ii中負項系數(shù)的位置相同的個數(shù)大于或者等于neg_Nwl_ii×ζ，則保留滿足這些條件的樣本對為新的臨時樣本W(wǎng)Lnewp和WHnewp；ζ取值為0.8；

接著，計算新樣本W(wǎng)Lnewp中的各個系數(shù)與wl_ii的差值的l1范數(shù)，選擇WLnewp中求得的l1范數(shù)，值最小所對應(yīng)的系數(shù)為與wl_ii最相似的目標(biāo)系數(shù)wl’；并用wl’所對應(yīng)的wh’作為當(dāng)前圖像塊的高分辨率稀疏系數(shù)；并用wh’與高分辨率字典Dh重建得到重建結(jié)果；設(shè)Y_ii為圖像塊P_ii經(jīng)過搜索匹配后稀疏重建得到的結(jié)果，由于此時Y_ii為列向量，需按照P_ii展開為列向量的逆過程將Y_ii恢復(fù)為塊的形式，設(shè)重建之后恢復(fù)成的塊用HP_ii表示；

(4)稀疏重建整合

最后將HP_ii直接加到BIm的對應(yīng)位置上去，這樣，求出所有塊對應(yīng)的高分辨率重建塊HP_ii之后，全部加到BIm上就得到了最終的超分辨率重建結(jié)果。