[發明專利]基于兩種訓練集合的圖像超分辨率方法

有效

• 申請號: 201810478697.1
• 申請日: 2018-05-09
• 公開（公告）號: CN108846797B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 端木春江;左德遙
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06V10/774;G06V10/762
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了利用兩種訓練集合的單幅圖像超分辨率的方法。在已有的方法中，只利用了一個訓練集，并往往由于高分辨率塊和低分辨率塊所在的流形不一致問題導致性能的下降。在所提出的方法中，利用兩種訓練集來克服這一問題。其中，第一個訓練集是由對圖像提取特征，并使用投影矩陣而得到的，第二個訓練集的構建采用的是傳統的方法。然后，對在線的放大過程，首先利用第一個訓練集和得到的鄰域矩陣重構第一個高分辨率圖像，利用第二個訓練集和最優權平均的方法重構第二個高分辨率圖像。然后，優化地融合這兩個圖像，并使用迭代反投影的方法修正，得到最終的高分辨率圖像。實驗表明，所提出的方法的性能和重建圖像的視覺效果好于原有的方法。

技術領域

本發明涉及到一種圖像處理的方法，尤其是單幅圖像的超分辨率處理的技術領域。即，僅給定一幅低分辨率的圖像，需要從中重構出高分辨率且清晰度更高的圖像。本技術在圖像與視頻的放大、視頻監控、遙感圖像處理等領域有著廣泛的的應用。

背景技術

圖像超分辨率(super-resolution)目標是從一幅或一系列低分辨率的圖像中估計出一幅高分辨率的圖像。特別地，僅從一幅低分辨率的圖像中重建一幅高分辨率的圖像的過程稱為單幅圖像的超分辨率(single image super-resolution)。近年來，單幅圖像的超分辨率技術在實際生活中有著廣泛的應用。特別地，在遙感圖像、醫學圖像，圖像視頻壓縮和計算機視覺等領域都有著許多實際的應用。由于一幅低分辨率的圖像可以對應到許多高分辨率的圖像，即，存在許多幅高分辨率的圖像對應到同一幅低分辨率的圖像的情況。因此，單幅圖像的超分辨處理是一個嚴重的病態問題，其輸出有可能有很多解。為了處理這個問題，通常在圖像的超分辨率處理的過程中添加圖像本身固有的先驗信息。

基于鄰域嵌入的圖像超分辨率算法最早在2004年提出，其主要想法來自流形學習中局部線性嵌入(LLE)的思想。具體來說，其假設低分辨率圖像和高分辨率圖像中的圖像塊在不同的特征空間中具有相似的幾何結構，即具有相似的流形(manifold)。然后，在離線的過程中，采集大量的原始圖像，并對原始圖像進行模擬的卷積和下采樣處理，以模擬圖像分辨率降低的過程，得到由大量的高分辨率圖像塊和所對應的低分辨率的圖像塊所組成的訓練集合。對于圖像的在線處理過程，首先把低分辨率圖像進行分塊，得到低分辨率圖像塊，然后在訓練集合中找到和其相似的低分辨率塊。然后，由這些塊在訓練集合中對應的高分辨率塊的線性組合來得到所需要的高分辨率圖像上的圖像塊。對于高分辨率圖像上，高分辨率圖像塊的重疊部分，往往利用取平均的方法來進行處理。這個方法被稱為基于外部樣例的圖像超分辨率方法。

隨后，有人提出了僅利用要放大的圖像來構造訓練集的方法。在這個方法中，逐步把原始圖像進行縮小。以得到不同尺度下的高分辨率的圖像和低分辨率圖像。然后，把這些圖像分塊，構造由低分辨率塊和所對應的高分辨率塊所組成的訓練集合。這個方法被稱為基于自身樣例的圖像超分辨率方法。

由于在實際過程中，低分辨率圖像塊的流形和高分辨率圖像塊的流形在結構上存在差異，因此降低了以上方法的效果，使高分辨率的圖像在細節或圖像邊緣上存在模糊的現象。為了提高超分辨率處理后的圖像的質量，本發明提出了利用兩個訓練集的方法，首先利用一個訓練集把低分辨率塊映射到高分辨率塊，再利用高分辨率塊的訓練好的字典集尋找相似塊進行搜索尋找相似塊，并利用迭代反投影技術對結果進行修正，以獲得更清晰的高分辨率圖像。

發明內容