[發明專利]一種多幀圖像超分辨率重建方法

有效

• 申請號: 201810074715.X
• 申請日: 2018-01-25
• 公開（公告）號: CN108280804B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 郭琳;王雨竹;葉波
• 申請（專利權）人: 湖北大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種多幀圖像超分辨率重建方法，其特征在于，包括以下步驟：

步驟1：對每一幀低分辨率觀測圖像Y_l執行插值算法，獲得其初始高分辨率估計圖像Z_l，其中，l＝0,1,...,L，L為低分辨率觀測幀數目；

步驟2：對所有高分辨率估計圖像進行分塊操作；

步驟3：對所有圖像分塊進行結構聚類；

步驟3的具體實現包括以下子步驟：

步驟3.1：計算所有高分辨率估計圖像分塊z_i的導控核向量w_i，作為該圖像分塊的局部結構特征，其中，i是該圖像分塊的序號，1≤i≤N，N為圖像分塊數；

步驟3.2：在所有導控核特征向量{w_i}構成的特征空間中，執行無監督聚類算法，將所有導控核分為K類，其對應的高分辨率估計圖像分塊相應地也分為K類，其中，核特征距離定義為：

其中，表示第k類導控核的類中心向量，1≤k≤K；類Ω_k由第k類圖像塊的序號構成；

步驟4：由聚類后的圖像分塊構建子字典；

由聚類后的圖像分塊，通過最小化下面的目標函數，采用PCA方法構建子字典

其中，是第k類圖像塊的均值向量，α_i為字典系數；

步驟5：構建結構相似圖像分塊子集；

對圖像分塊z_i，構建結構相似的圖像分塊子集其中，z^i,m是類中與z_i結構相似度系數最大的第m個分塊，包括分塊z_i自身，此時m＝0；是圖像分塊z_i所屬的類，M是設定的相似圖像分塊數目；

定義結構相似度系數ω_i,m計算公式為：

其中，w^i,m是圖像分塊z^i,m的導控核；w_i是分塊z_i的導控核，分塊z_i即分塊z^i,0；σ_g和σ_h為調節參數；

步驟6：建立全局導控核回歸估計；

對任意圖像分塊z_i的中心像素，定義其基于全部高分辨率估計幀圖像分塊的全局鄰域，記作其中，是子集S⁽ⁱ⁾中圖像分塊z^i,m的鄰域像素值按從左至右、從上至下的順序構成的列向量；

在此基礎上，建立融合局部鄰域和非局部鄰域信息的全局導控核回歸目標函數：

其中，是導控核回歸系數，是分塊z_i的中心像素，x_i＝[x_i1,x_i2]^T是z(x_i)的二維坐標，是其P鄰域坐標；是ω_i,m的歸一化值；W_im是對角線元素為w^i,m的對角矩陣；vech(·)為半角矢量化算子，完成將對稱矩陣的下三角元素按從上到下、從左到右的順序取出得到一個列矢量的操作；

求解上面的目標函數，建立基于全部估計圖像的全局核回歸估計：

其中，是對角線元素為的對角矩陣，e₁＝[1,0,0,0,0,0]^T；

步驟7：建立基于導控核回歸正則化的稀疏重建目標函數；

其中建立基于導控核回歸正則化的一體化重建模型，同時利用全局的結構特征自相似性先驗約束、以及稀疏性約束進行回歸估計，重建目標函數；

目標函數為：

其中，定義

其中，I_l是由第l幀高分辨率估計幀Z_l的所有分塊的序號構成的集合；P_i表示從Z_l中提取圖像分塊z_i的操作，即z_i＝P_iZ_l；是圖像分塊z_i所屬的類對應的字典；R_i表示從Z_l中提取分塊z_i的中心像素z(x_i)的操作，即z(x_i)＝R_iZ_l；B_i表示獲取分塊z_i的中心像素z(x_i)的全局鄰域Γ_i的操作，即D是下采樣矩陣，H是模糊矩陣，λ是稀疏約束調節常數，γ是核回歸正則化常數；

步驟8：通過交替迭代方法求解步驟7中的重建目標函數，獲得新的高分辨率估計幀；

步驟9：更新圖像分塊，重復步驟3至步驟8，直至達到迭代次數，獲得最終的任意幀高分辨率重建圖像。