[發(fā)明專利]基于投影矩陣的單幅圖像超分辨率方法

在審

• 申請?zhí)枺?/td>: 201910326355.2
• 申請日: 2019-04-12
• 公開（公告）號: CN110111252A
• 公開（公告）日: 2019-08-09
• 發(fā)明（設(shè)計）人: 端木春江;代曉東
• 申請（專利權(quán)）人: 浙江師范大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

為了提高單幅圖像超分辨方法的性能，提出了基于投影矩陣的超分辨率方法。首先，通過引入字典原子之間的互不一致性約束，求解出表達(dá)能力更強(qiáng)的低分辨率的字典。然后，對于字典中的每個列，尋找優(yōu)化的投影矩陣。在其中，通過設(shè)置權(quán)重矩陣，增強(qiáng)鄰近字典原子對當(dāng)前圖像塊的表達(dá)能力，弱化較遠(yuǎn)原子的表達(dá)能力，使字典對當(dāng)前圖像塊的表達(dá)能力更強(qiáng)。最后，在對投影矩陣進(jìn)行l(wèi)₂范數(shù)正則化約束的前提下，利用字典原子和特征塊之間的相關(guān)性以及特征塊與其聚類中心的歐式距離關(guān)系，重構(gòu)出擁有更加詳細(xì)信息的高分辨率圖像特征。實驗結(jié)果顯示所提出的方法在更少運(yùn)行時間的情況下，提高了重構(gòu)圖像的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明專利設(shè)計到數(shù)字圖像處理領(lǐng)域內(nèi)的一種僅靠單幅低分辨率的圖像獲取一幅高分辨率圖像的超分辨率方法。在所提出的方法中利用了以下所介紹的投影矩陣。

背景技術(shù)

在單幅圖像超分辨率處理領(lǐng)域內(nèi)，目前存在如下介紹的幾種方法。在第一種方法中，利用未知像素值周圍的已知像素值來估計和預(yù)測此未知像素值的大小，其被稱為插值的方法。在第二種方法中，利用大量的訓(xùn)練圖像，在訓(xùn)練階段對高分辨率的原始圖像進(jìn)行濾波和下采樣處理，得到對應(yīng)的低分辨率圖像。然后，對訓(xùn)練階段的高分辨率圖像和低分辨率的圖像進(jìn)行分塊，獲得高分辨率的圖像塊和低分辨率的圖像塊，并存儲每一對高分辨率圖像塊和低分辨率圖像塊。對于要進(jìn)行超分辨率放大的圖像塊，首先對其進(jìn)行分塊，獲得低分辨率的圖像塊，然后在訓(xùn)練過程獲得的低分辨率圖像塊中尋找和其最接近的幾個圖像塊。然后，利用訓(xùn)練階段獲得的和這些低分辨率塊所對應(yīng)的高分辨率塊的加權(quán)平均來獲得放大后的高分辨率塊。對要放大的圖像上的每個低分辨率圖像塊都進(jìn)行以上這些操作之后，可以獲得很多高分辨率的圖像塊。對在這些高分辨率的圖像塊的重疊區(qū)域使用平均的方法可以獲得一幅高分辨率的圖像。這種方法被稱為基于樣例的方法。在第三種方法中，利用訓(xùn)練階段的高分辨率圖像，通過濾波和下采樣處理獲得對應(yīng)的低分辨率的圖像。然后，利用稀疏表示的方法獲得表示低分辨率圖像塊的稀疏字典和表示高分辨率圖像塊的稀疏字典。對于在線的圖像放大階段和低分辨率圖像上提取的圖像塊，首先利用訓(xùn)練好的低分辨率的字典，來獲得其稀疏表示的系數(shù)。然后，根據(jù)高分辨率圖像塊和低分辨率圖像塊在同一個流型上的假設(shè)，利用高分辨率的字典和稀疏表示的系數(shù)相乘，獲得高分辨率的圖像塊。對低分辨率圖像中所有的圖像塊，都進(jìn)行了以上處理后，可以通過獲得的高分辨率的圖像塊重建出一幅高分辨率的圖像。這個方法被稱為稀疏表示的方法。在第四種方法中，首先通過訓(xùn)練圖像集合中的高分辨率圖像塊和所對應(yīng)的低分辨率的圖像塊來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。當(dāng)訓(xùn)練好這個網(wǎng)絡(luò)之后，對于要放大的圖像塊，利用這個網(wǎng)絡(luò)可以得到高分辨率的圖像塊。對低分辨率圖像中的所有低分辨率圖像塊都進(jìn)行了此操作后，可以得到對應(yīng)的所有的高分辨率的圖像塊。然后，利用圖像塊重疊區(qū)域平均的方法，可以得到一幅高分辨率圖像。這種方法被稱為基于深度學(xué)習(xí)的方法。

發(fā)明內(nèi)容

所提出的方法包括離線的訓(xùn)練階段和在線的放大階段。對于離線階段，首先對于輸入的高分辨率訓(xùn)練圖像進(jìn)行通常的濾波和下采樣處理。然后，對得到的低分辨率圖像進(jìn)行雙三次的插值，得到初始的高分辨率圖像。然后把原始的高分辨率圖像和初始的高分辨率圖像進(jìn)行相減。接著，對相減后的高分辨率圖像和所對應(yīng)的低分辨率圖像進(jìn)行分塊處理。并利用主成分分析方法(principle component analysis，PCA)對低分辨率的圖像塊和高分辨率的圖像塊進(jìn)行降維處理。處理后的低分辨率的圖像塊可以構(gòu)成訓(xùn)練矩陣：其中每一列對應(yīng)一個低分辨率圖像塊的特征，d_l表示對低分辨率圖像塊降維之后的維數(shù)，對應(yīng)的高分辨率的訓(xùn)練矩陣可以表示為：其中每一列對應(yīng)一個高分辨率圖像塊的特征，d_h表示對高分辨率的圖像塊降維之后的維數(shù)。

然后，需要提取低分辨率的圖像塊的字典和高分辨率的圖像塊的字典。在經(jīng)典和流行的方法中，使用求解稀疏字典的最小化目標(biāo)函數(shù)可用下式(1)表示。