[發明專利]自適應全局和紋理約束的超分辨率的方法

有效

• 申請號: 201910332693.7
• 申請日: 2019-04-12
• 公開（公告）號: CN110111253B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 端木春江;戚河平
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種圖像超分辨率的方法，其特征在于：包括離線的訓練階段和在線的放大階段，其中的離線的階段包括如下輸入A)、輸出A)、以及步驟A1)-A4)，

輸入A)大量的高分辨率的訓練圖像，超分辨率放大的因子s_f×s_f，

輸出A)低分辨率的字典D₁和高分辨率的字典D_h，

步驟A1)對輸入的每個高分辨率圖像進行濾波和s_f×s_f倍的下采樣，得到所對應的低分辨率的圖像，并分別從高分辨率圖像和低分辨率圖像中提取高分辨率圖像塊和低分辨率圖像塊并對高分辨率圖像塊進行按行矢量化獲得矢量對低分辨率的圖像塊進行按行矢量化獲得矢量其中，在對圖像塊bl進行按行矢量化為矢量ve的過程中，bl中坐標(i，j)上的元素值為矢量ve中的第(i*N_h+j)個值，其中N_h為圖像塊bl的每行的元素的個數，

步驟A2)利用K-SVD的方法求解問題：其中T(X)為提取圖像塊X的紋理部分的算子，D₁為低分辨率的字典，C_k為稀疏系數，λ₁為平衡參數，||Z||₂為矩陣Z的2范數，||Z||₀為Z的0范數，即其中不為零的元素的個數，T為稀疏度約束參數，n表示訓練階段所提取的所有的低分辨率圖像塊的個數，s.t.在數學上表示subject?to，表示后續為必須滿足的約束條件項，即這里必須滿足條件C_k的0范數小于或等于T，通過K-SVD方法求解這一問題，得到初始的低分辨率的字典D₁，

步驟A3)利用K-SVD的方法求解問題：其中為步驟A1獲得的高分辨率圖像塊矢量，D_h為高分辨率的字典，通過K-SVD的方法求解這一問題，得到初始的高分辨率的字典D_h，

步驟A4)利用K-SVD的方法求解如下含有三個變量D₁、D_h、C_k的問題：其中最小化的目標函數為

通過K-SVD的方法求解這一問題，得到并輸出訓練階段的低分辨率D₁字典和高分辨率的字典D_h，

其中的在線的超分辨率放大階段包括如下輸入B)、輸出B)、以及步驟B1)-B7)，

輸入B：一幅待放大的低分辨率的圖像Y，訓練階段得到的低分辨率的字典D₁和高分辨率的字典D_h，放大因子s_f×s_f，

輸出B：一幅放大s_f×s_f倍的高分辨率的圖像X^*，

步驟B1)使用訓練階段獲得的低分辨率字典Dl和從輸入的低分辨率的圖像中提取的低分辨率塊矢量Zp，利用正交匹配跟蹤方法求解問題：獲得在線圖像塊中的稀疏系數α^*；

步驟B2)使用訓練階段獲得的高分辨率字典Dh和步驟B1獲得的稀疏系數α^*，利用公式ph＝Dhα^*，可得出初始的高分辨率圖像塊，回到步驟B1)，直到處理完低分辨率圖像中的所有低分辨率的圖像塊為止；

步驟B3)根據所有得到的高分辨率圖像塊生成高分辨率的初始圖像X(0)，其中，圖像塊與圖像塊之間的重疊區域使用像素值的平均值來處理，令I＝X(0)；

步驟B4)對輸入圖像I，使用TV-L1模型提取結構圖像的方法提取圖像I中的結構圖像IS，通過It＝I-IS，獲得高分辨率圖像的紋理部分圖像It；

步驟B5)運用步驟B4，處理低分辨率的輸入圖像Y，令I＝Y，得到其紋理部分T(Y)，通過步驟B4，處理圖像SBX(0)，其中B對應濾波操作，S對應下采樣操作，X(0)為步驟B3求得的圖像，令I＝SBX(0)，經步驟B4處理后得到圖像SBX(0)的紋理部分T(SBX(0))，通過關系式td＝T(Y)-T(SBX(0))，獲得圖像td；

步驟B6)通過獲得圖像塊矢量其中表示和當前圖像塊矢量pi在高分辨率圖像X(t)里提取的圖像塊矢量距離最近的第j個圖像塊矢量，共提取Np個這樣的矢量，為權重系數，令矩陣矢量化的是此矩陣中的第j列，為權重系數矢量，通過公式wⁱ＝((Pⁱ)^HPⁱ)^-1(Pⁱ)^Hpⁱ，求解出所有的權重系數然后從矢量中得到圖像塊BPⁱ，其中中的第(k*Nh+1)個元素為BPi中的坐標(k，l)上的元素，并用此圖像塊替換掉原圖像X(t)中相同位置處的圖像塊，當對原圖像中所有的圖像塊都進行了此操作后，得到圖像Xm(t)，其中圖像塊與塊之間的重疊區域用求平均值的方法來處理；

步驟B7)X(t+1)＝X(t)+v·(B^TS^T((Y-SBX(t))+β·(T(Y)-T(SBX(t))))+γ·(X(t)-Xm(t)))，其中，v、β、γ為需要優化設置的參數，B和S分別為濾波和下采樣操作所對應的矩陣，B^T和S^T分別為矩陣B和S的轉置，X(t＝0)為步驟B3得到的圖像X(0)，Xm(t)為以X(t)為輸入圖像，通過步驟B6得到的輸出圖像，利用上式迭代更新高分辨率圖像X(t)，直到迭代次數大于k或者終止迭代，輸出高分辨率圖像X^*。

2.如權利要求1所述的一種超分辨率方法，其特征在于：其中的參數通過實驗以進行優化的設置，其中的設置低分辨率圖像塊大小為3*3，圖像塊與圖像塊之間重疊2個像素，即在超分辨率放大中對提取的圖像塊在圖像中每次移動一個像素，在計算全局約束中，提取的圖像塊和尋找的相似塊的大小均設置為5*5，并且通過實驗最終決定每個塊的相似塊個數x設置為：如果相似度小于0.1的個數大于20個，令x＝20，否則x＝15，兩個重要參數設置為β＝0.58，γ＝0.3，同時，參數v＝0.16。