[發(fā)明專利]基于投影矩陣的單幅圖像超分辨率方法

在審

• 申請?zhí)枺?/td>: 201910326355.2
• 申請日: 2019-04-12
• 公開（公告）號(hào): CN110111252A
• 公開（公告）日: 2019-08-09
• 發(fā)明（設(shè)計(jì)）人: 端木春江;代曉東
• 申請（專利權(quán)）人: 浙江師范大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發(fā)明提出了一種單幅圖像超分辨率方法，其特征在于包括離線的訓(xùn)練階段和在線的放大階段，其中的離線的訓(xùn)練階段包括如下步驟：

輸入A：大量的高分辨率的圖像，低分辨率圖像的放大因子s_f×s_f，

輸出A：主成分分析法使用的變換矩陣T_l，低分辨率的字典D^l，大量的由低分辨率特征塊和高分辨率特征塊對組成的集合低分辨率字典的第k列的字典原子所對應(yīng)的投影矩陣P_k，

步驟A1)對輸入的高分辨率圖像進(jìn)行濾波和下采樣因子為s_f×s_f的下采樣，得到其所對應(yīng)的低分辨率的圖像，再對低分辨率的圖像進(jìn)行雙三次插值，得到初始的放大的高分辨率的圖像，對輸入的高分辨率圖像和初始的放大的高分辨率圖像進(jìn)行相減操作，得到差值圖像，提取低分辨率圖像上的圖像塊和高分辨率的圖像上的圖像塊，低分辨率的圖像塊的大小為s_l×s_l，高分辨率的圖像塊的大小為s_h×s_h，相鄰的低分辨率圖像塊的重疊區(qū)域?yàn)閟_l×s_o，把提取的低分辨率圖像上的圖像塊和所對應(yīng)的差值圖像上的圖像塊加入到圖像塊對集合中，對下一幅訓(xùn)練的高分辨率圖像進(jìn)行如上的操作，直到對訓(xùn)練的高分辨率圖像中的所有圖像都完成了以上操作為止，得到由低分辨率的圖像中的圖像塊PL_i和所對應(yīng)的差值圖像中的高分辨率的圖像塊PH_i所組成的圖像塊對集合，即這里M為此步驟完成后得到的圖像塊對的數(shù)目，步驟A2)對步驟A1中得到的所有低分辨率圖像塊，利用主成分分析方法，進(jìn)行降維操作，使維數(shù)為(s_l)²的低分辨率的圖像塊PL_l的維數(shù)降低為n_l維，得到變換矩陣T_l和降維之后的低分辨率的圖像特征塊對步驟A1中得到的所有高分辨率圖像塊，利用主成分分析方法，進(jìn)行降維操作，使維數(shù)為(s_h)²的高分辨率的差值圖像塊的維數(shù)降低為n_h維，得到降維之后的高分辨率的圖像特征塊這樣，可以得到降維之后的由圖像特征塊對組成的集合步驟A3)利用步驟A2得到的集合對如下問題進(jìn)行求解，

這里，D^l為待求的低分辨率的字典，β為稀疏系數(shù)矩陣變量，X為由所有低分辨率的圖像特征塊所組成的矩陣，其中特征塊經(jīng)過矢量化之后的矢量組成矩陣X的第i列，即在特征塊中的第m行第n列的元素為矩陣X的第i列中的第(m×N_h+n)個(gè)元素，其中，N_h為特征塊的每行中的元素的個(gè)數(shù)，d_k為低分辨率字典D^l的第k列構(gòu)成的向量，λ₁為需要由大量實(shí)驗(yàn)來優(yōu)化確定的平衡參數(shù)，K為矩陣X的列數(shù)，||A||₂為矩陣A的2范數(shù)，(d)^T為向量d的轉(zhuǎn)置，||d||₂為向量d的2范數(shù)，有β_i向量為矩陣β中的第i列，||β_i||₀為向量β_i的0范數(shù)，即β_i向量中所有不為零的元素的個(gè)數(shù)，K₁為稀疏度約束，為需要通過實(shí)驗(yàn)來優(yōu)化確定的參數(shù)，符號(hào)為數(shù)學(xué)中的任給的符號(hào)，s.t.為數(shù)學(xué)中的subject to的符號(hào)，表示后續(xù)項(xiàng)為約束條件，即，問題(2)的含義為在滿足條件1：對任意的k，和條件2：對任意的i，||β_i||₀≤K₁，這兩個(gè)條件的情況下，以低分辨率字典D^l和稀疏系數(shù)矩陣β為變量，最小化目標(biāo)函數(shù)

這里，先固定低分辨率的字典D^l，以β為變量，最小化此目標(biāo)函數(shù)，此時(shí)，和固定，只需優(yōu)化由于D^l固定，這個(gè)問題轉(zhuǎn)化為求解稀疏系數(shù)問題，可以采用最優(yōu)匹配方法(optimal matching pursuit，OMP)來求解，然后，固定稀疏系數(shù)β，以D^l為變量，最小化此目標(biāo)函數(shù)，可以采用梯度下降法來求解這一問題，然后，不斷地固定一個(gè)變量，優(yōu)化另一個(gè)變量來求解這一問題，直到求解收斂或求解達(dá)到預(yù)定的精度或次數(shù)，這時(shí)，可以輸出優(yōu)化的求解出的低分辨率字典D^l，完成步驟A3，

步驟A4)在得到優(yōu)化的低分辨率的字典之后，對字典中的每一列，需要求解溝通低分辨率和高分辨率特征塊的投影矩陣，不同于傳統(tǒng)方法，在所提出的方法中，提出利用權(quán)值矩陣，采用如下描述的方法來求解投影矩陣，對于低分辨率字典中的每一個(gè)原子采用相關(guān)性在低分辨率塊特征集合中找到和最近的L個(gè)低分辨率的特征塊，這些塊組成集合通過這些特征塊可以構(gòu)成低分辨率特征塊矩陣即同時(shí)，這些特征塊的中心為在步驟A2得到的訓(xùn)練集合中找到和以上這L個(gè)低分辨率的特征塊對應(yīng)的高分辨率特征塊，這些特征塊可以組成集合并且通過這些特征塊可以構(gòu)成高分辨率特征塊矩陣由于與的聚類中心具有較高的相似性，因此中的每個(gè)特征塊與的聚類中心的距離度量可以利用如下公式(3)中的歐式距離得出，

這里是低分辨率特征塊矩陣中的任意一列，S_i表示此列與其聚類中心的歐氏距離，因此利用S_i，可以得到所提出的權(quán)值矩陣W_k，并且此矩陣可以由如下公式(4)得出，

這里W_k表示的是從到更詳盡的投影關(guān)系，最后，投影矩陣P_k可以由以下公式(6)得出，

其中這些投影矩陣P_k可以離線進(jìn)行計(jì)算，然后存儲(chǔ)起來，供在線放大時(shí)使用，

至此，得到了低分辨率的字典D^l，大量的由低分辨率特征塊和高分辨率特征塊對組成的集合低分辨率字典的第k列的字典原子所對應(yīng)的投影矩陣P_k，即，得到了訓(xùn)練階段所要求的所有的輸出，

所提出的方法中的在線的放大階段包括如下步驟：

輸入B：待放大的低分辨率的圖像I_l，放大因子s_f×s_f，訓(xùn)練階段得到的圖像特征塊對集合低分辨率的字典D^l，低分辨率字典的第k列的字典原子所對應(yīng)的投影矩陣P_k，

輸出B：放大的高分辨率的圖像，

步驟B1)對于一幅低分辨率的圖像I_l，首先利用雙三次插值方法將它放大到與高分辨率圖像相同的尺寸的到被插值放大的圖像然后進(jìn)一步將圖像進(jìn)行分塊和矢量化得到然后，對低分辨率的圖像I_l進(jìn)行分塊和利用主成分分析法進(jìn)行特征提取得到特征塊，對特征塊進(jìn)行矢量化可以得到矢量其中1≤i≤N_p，即圖像I_l被劃分為N_p個(gè)圖像塊，這里使用的提取圖像塊特征的主成分分析法和訓(xùn)練階段的步驟A1的過程中使用的主成分分析法相同，對圖像塊矢量化的方法和訓(xùn)練階段步驟A1的過程中使用的對圖像塊的矢量化的方法相同，然后，讓i＝1，

步驟B2)對于每一個(gè)低分辨率的特征塊得到的矢量利用相關(guān)性度量在低分辨率字典D^l中找到與其關(guān)聯(lián)最緊密的字典原子，即使值最大的字典原子d^l(m)，其中d^l(m)表示字典D^l中的第m列，

步驟B3)結(jié)合d^l(m)對應(yīng)的投影矩陣P_m就可以利用如下的公式(7)得到高分辨率的特征塊矢量即

其中exp(x)＝e^x，

步驟B4)將被插值放大后得到的塊矢量加上由(7)式求出的高分辨率特征塊矢量，就可以得到重構(gòu)的圖像塊矢量，即

對矢量使用和矢量化相逆的過程，即由矢量獲得圖像塊的過程，可以得到一個(gè)高分辨率的圖像塊，

步驟B5)i＝i+1，重復(fù)以上步驟B2到步驟B4，直到i＝N_P，即對所有圖像塊都進(jìn)行了以上處理，

步驟B6)在對所有的低分辨率的圖像塊和所有插值之后圖像上的圖像塊都進(jìn)行以上處理，獲得所有高分辨率的圖像塊之后，可以通過組合所有的高分辨率塊，并對來自相鄰塊之間的重疊區(qū)域進(jìn)行平均來重建和獲得一幅高分辨率圖像。

2.如權(quán)利要求1所述的一種單幅圖像超分辨率方法，其特征在于，其中的參數(shù)通過大量的實(shí)驗(yàn)進(jìn)行如下的優(yōu)化的設(shè)置：提取的圖像塊對的個(gè)數(shù)M＝5000000，低分辨率的圖像塊的大小為s_l×s_l＝3×3，圖像塊的重疊區(qū)域?yàn)閟_l×s_o＝3×1，低分辨率的圖像塊PL_i的維數(shù)降低為n_l＝5維，差值圖像塊的維數(shù)降低為n_h＝5*(s_f)²維，其中s_f×s_f為輸入的放大的倍數(shù)，平衡參數(shù)λ₁＝0.8，稀疏度約束K₁＝1024，步驟A3中求解問題的迭代次數(shù)設(shè)置為50次，步驟A4中的參數(shù)L＝1024。