[發(fā)明專利]基于自身樣例和稀疏表示的圖像超分辨率方法

有效

• 申請?zhí)枺?/td>: 201810478698.6
• 申請日: 2018-05-09
• 公開（公告）號: CN108830791B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 端木春江;左德遙
• 申請（專利權(quán)）人: 浙江師范大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京慕達(dá)星云知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 李冉

1.一種基于自身樣例和稀疏表示的圖像超分辨率方法，包括離線的獲得投影矩陣、利用投影矩陣產(chǎn)生高頻特征、利用外部訓(xùn)練法產(chǎn)生低分辨率字典、和高分辨率字典的離線的訓(xùn)練階段；和在線的利用訓(xùn)練好的投影矩陣產(chǎn)生主要高頻特征、利用低分辨率字典和最優(yōu)匹配跟蹤方法產(chǎn)生稀疏表示的系數(shù)、利用稀疏 表示的系數(shù)和高分辨率字典產(chǎn)生高頻殘差特征、重構(gòu)高分辨率圖像的在線的放大階段；

其中的離線的訓(xùn)練階段的特征在于，包括以下步驟：

步驟1)獲得投影矩陣的方法，對于輸入的高分辨率的原始圖像H_ORG經(jīng)過點擴(kuò)展算子的卷積和下采樣操作后得到低分辨率的圖像I₀，然后，把圖像I₀看作為高分辨率的訓(xùn)練圖像I_H，對I_H進(jìn)行點擴(kuò)展算子的卷積和下采樣后得到低分辨率的訓(xùn)練圖像I_L，接下來，使用雙三次插值方法放大圖像I_L，并對放大得到的圖像使用迭代反投影(iterative backpropagation,IBP)的方法進(jìn)行修正得到圖像I_LF，圖像I_H減去圖像I_LF得到圖像I_HF，投影矩陣P_k的訓(xùn)練集其中，N₁是圖像塊的個數(shù)，是由圖像I_HF直接分塊得到的圖像塊的集合，是使用下面的式(1-4)中的四個高通濾波器分別濾波處理圖像I_LF，在每個像素點上得到4個分量，并使用主成分分析的方法(principlecomponent analysis,PCA)降維后只剩1個分量所得到的圖像塊集合，

G＝[1,0,-1]； (1)

L＝[1/2,0,-1,0,1/2]； (2)

G^T＝[1,0,-1]^T (3)

L^T＝[1/2,0,-1,0,1/2]^T (4)

在低分辨率的訓(xùn)練集中采用K-均值(K-means)分類的方法，對其空間分為K個類，每個類的中心點為錨點每個錨點都對應(yīng)一個鄰域矩陣其中，每個鄰域矩陣由有n_c個和錨點最相近的原子(atom)組成，為矩陣的第m列，這n_c個最相近的原子是通過計算訓(xùn)練樣例集合中的每個原子與錨點的相關(guān)性，選擇相關(guān)性最大的原子得到的，同時，和這些原子相對應(yīng)的高分辨率的圖像塊組成高分辨率上的鄰域矩陣然后利用如下公式(5)，可以得到和錨點相對應(yīng)的投影矩陣P_j，

其中，矩陣I是單位矩陣，λ是平衡因子，矩陣X^T是矩陣X的轉(zhuǎn)置矩陣；

步驟2)重建出主要高頻特征的方法，對低分辨率圖像I₀使用雙三次插值放大可以得到初始插值圖像I_bic，然后對I_bic中的每一個圖像塊找到和其相關(guān)性最大的錨點利用訓(xùn)練好的投影矩陣和以下公式(6)估計出高分辨率圖像中的圖像塊

主要高頻圖像H_MHF可以通過合并以上所有估計出的高分辨率圖像塊，以及對塊與塊之間的重疊區(qū)域取平均值求出來；

步驟3)利用外部訓(xùn)練法產(chǎn)生稀疏字典的方法，圖像I_ibp加上得到的主要高頻圖像H_MHF可以得到高分辨率臨時圖像H_TMP，圖像H_ORG減去圖像H_TMP可以得到殘差高頻圖像H_RHF，用和處理I_HF、I_LF一樣的方法處理圖像H_TMP和H_RHF，可以得到外部訓(xùn)練集其中是圖像H_TMP上提取的圖像塊，N₂是其中的圖像塊的個數(shù)，是圖像H_RHF經(jīng)過和在以上步驟1)中相同的濾波和主成分分析后在相同位置處提取的圖像塊，使用稀疏表示中K-SVD字典訓(xùn)練的方法處理可以得到低分辨冗余字典LRD和稀疏表示向量利用外部訓(xùn)練集中的所有高分辨率塊可以構(gòu)成矩陣Q，其中是矩陣Q的第m列，利用稀疏表示向量可以構(gòu)成矩陣R，其中是矩陣R的第m列，然后，利用以下公式(7)可以得到高分辨率字典

HRD＝Q*R^H*(R*R^H)^-1 (7)

這樣，就完成了離線的訓(xùn)練過程，得到了投影矩陣P_j、過完備的低分辨率字典LRD、和高分辨率字典HRD，以供在線過程使用。

2.如權(quán)利要求1所述的一種基于自身樣例和稀疏表示的圖像超分辨率方法，其中的在線的放大階段的特征在于，包括以下步驟：

步驟1)利用訓(xùn)練好的投影矩陣產(chǎn)生主要高頻特征的方法，對輸入的一幅低分辨率的圖像L_INPUT，以圖像L_INPUT作為以上離線過程中的輸入圖像H_ORG，按照上面離線過程中步驟1)中的處理方法，可以生成圖像I_LF，然后對I_LF圖像中的每一個圖像塊，以及訓(xùn)練好的投影矩陣根據(jù)前面的公式(6)，生成主要高頻特征圖像H_MHF；

步驟2)利用字典LRD和最優(yōu)匹配跟蹤方法產(chǎn)生低分辨率塊的稀疏表示的系數(shù)的方法，圖像I_ibp加上主要高頻圖像H_MHF得到高分辨率臨時圖像H_TMP，生成HR臨時圖像H_TMP以后，先使用上面的(1-4)式中的四個高通濾波器分別濾波處理H_TMP，并使用PCA降維以后可以得到一圖像，然后從此圖像中提取圖像塊再使用優(yōu)化的匹配跟蹤(optimal matchingpursuit,OMP)算法處理和低分辨冗余字典LRD，可以得到圖像塊在低分辨率字典上的稀疏表示系數(shù)矢量

步驟3)利用字典HRD和稀疏表示的系數(shù)重建殘差高頻特征的方法，重建的高分辨率圖像塊可以表示為按照這個方法對在線過程步驟2)最后得到的圖像中所有的塊進(jìn)行以上的處理，并對圖像塊塊與圖像塊之間重疊的區(qū)域采用取平均值的方法，就可以得到高分辨率的殘差高頻圖像H_RHF；

步驟4)輸出高分辨率的重構(gòu)的圖像的方法，最后，高分辨率的殘差高頻圖像H_RHF加上高分辨率的臨時圖像H_TMP便得到最終的輸出的高分辨圖像H_EST。