[發明專利]一種基于殘差的圖像超分辨率重建方法

有效

• 申請號: 201210170038.4
• 申請日: 2012-05-29
• 公開（公告）號: CN102722876A
• 公開（公告）日: 2012-10-10
• 發明（設計）人: 陳華華
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 杜軍

1.?一種基于殘差的圖像超分辨率重建方法，其特征在于該方法包括以下步驟：

步驟(1)計算殘差，具體是：

將用于訓練的低分辨率樣本圖像y插值放大得到圖像Xb，圖像Xb與原高分辨率圖像具有相同尺寸，將圖像Xb與原高分辨率圖像X之間的差值即Xr=X-Xb作為圖像殘差；

步驟(2)獲得低分辨率訓練樣本圖像與高分辨率圖像殘差的字典對，具體是：

計算低分辨率訓練樣本圖像的一階、二階梯度圖像，將梯度圖像分塊，以梯度值作為低分辨率圖像子塊的特征；將圖像殘差分塊，以子塊殘差作為高分辨率圖像子塊的特征，訓練字典對，它由低分辨率字典和高分辨率字典構成；

訓練時，對輸入的每個高、低分辨率圖像特征子塊向量化，得到各自向量化的特征子塊樣本集合，分別記為{x_ri}和{y_i}，其中x_ri表示圖像殘差特征子塊，y_i表示低分辨率圖像特征子塊，?i=1,…,N，N是子塊數；

對低分辨率特征子塊樣本集合{y_i}進行分類，先計算每個y_i的方差值，按給定的方差閾值△進行分類，閾值△可通過對集合{y_i}進行方差統計獲得；

對于方差小于或等于閾值△的低分辨率圖像特征子塊樣本組成一個集合{y_i0}，由其對應的高分辨率特征子塊樣本獲得集合{x_ri0}，將集合{x_ri0}和集合{y_i0}構成高、低分辨率子塊樣本對，采用K-SVD學習算法得到高分辨率字典D_h0、低分辨率字典D_l0；高分辨率字典D_h0和低分辨率字典D_l0構成字典對；

對于方差大于閾值△的集合{y_i}、{x_ri}，此時的樣本數量仍相當大，采用K-均值聚類算法對方差大于閾值的集合{y_i}進行分類；通過對{y_i}聚類分成K類樣本，各類對應的{x_ri}也同樣分成了K類樣本，則得到K類高、低分辨率子塊樣本對{x_rik}、{y_ik}以及{y_ik}的聚類中心{C_k}，k=1,2,…,K；分別對各類子塊樣本對采用K-SVD訓練得到K對高、低分辨率字典D_hk和D_lk；

步驟(3)超分辨率重建高分辨率圖像，具體是：

對樣本對進行分類學習后，可得K+1對高、低分辨率字典；對低分辨率測試圖像y_t重建時，先對y_t分塊，每個子塊進行超分辨率重建時必須選用合適的字典進行稀疏分解與高分辨率圖像重建，采用???????????????????????????????????????????????分解低分辨率測試圖像子塊y_ti，其中D_ls是選擇的最適合的低分辨率字典，是稀疏表示矢量，是給定的誤差值；對應的高分辨率殘差子塊x_tri重建過程采用，其中D_hs是與D_ls相對應的高分辨率字典；由子塊y_ti與各聚類中心中具有最小歐氏距離的類別所對應的字典D_ls作為最適合的低分辨率字典；重建獲得的是殘差圖像，其中M是低分辨率測試圖像的子塊數，R_i是子塊的提取方式，T代表轉置；殘差圖像與低分辨率插值放大后的結果相加可獲得超分辨率圖像；

對于輸入的待重建測試圖像子塊y_ti，先計算圖像子塊的方差并根據方差選擇字典，對于方差小于閾值△的子塊選用D_h0、D_l0進行重建，否則根據子塊與K-均值聚類中心點的距離按式(1)進行字典選擇；

??????????????????(1)

由式(1)確定與測試圖像子塊歐氏距離最小的聚類中心C_s，通過聚類中心C_s找到相應的高、低分辨率字典，進行超分辨率重建；為了使字典能更好的匹配圖像子塊，防止“臨界子塊”影響重建結果，對由各“臨界子塊”重建的殘差進行加權求和；這里的“臨界子塊”是指一個子塊與兩個或多個聚類中心的距離都很相近，“臨界子塊”判斷規則為：計算子塊與每個聚類中心的歐氏距離，記距離為d_j,下標j根據歐氏距離的大小排序，歐氏距離最小的為1，下標隨歐氏距離增加依次遞增，根據d₁與d_j的比值確定子塊是否臨近，即：

??????????????????????(2)

式(2)中為臨界子塊判斷閾值；

為了將重建子塊更好的重構，采用多個字典進行重建；對測試子塊y_ti與多個聚類中心相近時，分別采用多個字典進行分解重構，最后根據y_ti與多個聚類中心的相近程度分配權值，對重建的殘差進行加權求和，得到最終的高分辨率圖像的殘差子塊；權重計算如式(3)-(5)所示；

??????????????????(3)

?????????????????????????????????(4)

?????????????????????????????????(5)

式(3)-(5)中p是與子塊y_ti最接近的類別數，j是p類中按距離從小到大排序后的第j類，C_j為與d_j相對應的聚類中心，ω_j為歸一化的權值，為分別根據C_j所對應的字典重建得到的高分辨率殘差，高分辨率殘差子塊x_tri為式(5)所示的各重建高分辨率殘差結果的加權和。

2.根據權利要求1所述的一種基于殘差的圖像超分辨率重建方法，其特征在于：步驟(2)中由于K-均值聚類算法對初始值敏感，可能導致部分類別的樣本個數過少，此時可將樣本數目小于給定閾值的類別合并到與其聚類中心最近的類別中，并重新計算聚類中心，對于樣本數目大于等于給定閾值的類別可以再次采用K-均值聚類算法進行細分。