[發明專利]生成低分辨率輸入數據結構的超分辨率版本的方法和設備

在審

• 申請號: 201310281916.4
• 申請日: 2013-05-10
• 公開（公告）號: CN103426148A
• 公開（公告）日: 2013-12-04
• 發明（設計）人: J·薩爾瓦多;A·科查勒;M·博蘇姆
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 呂曉章

技術領域

本發明涉及一種用于生成低分辨率輸入數據結構的超分辨率處理版本的方法和相應的設備。

背景技術

超分辨率(SR)處理被認為是對常規采樣多維信號分辨率的一種改進。特別令人感興趣的情況是僅有低分辨率信號是可用時。單個低分辨率信號可用還是多個相似的低分辨率信號可用，是有顯著差異的，因為在后一種情況下，可以通過結合幾個可用信號的貢獻充分利用更豐富的數據值。在圖像處理方面的文獻中，這些方法被籠統地稱為基于實例的超分辨率處理，或者，更確切地說，單幅圖像超分辨率處理。盡管下面的描述是一般性的，并且可以應用于不同維度的信號，但是焦點將集中在2D圖像超分辨率處理的情形。

圖像超分辨率處理技術已為公眾熟知多年，始于M.Irani和S.Peleg的《Super?Resolution?from?Image?Sequences》。最常見的是，這些技術涉及在給定一組噪聲、模糊、低分辨率的觀察結果(如，視頻序列中連續的圖像)的情況下使用與圖像形成模型相逆的重建處理估計高分辨率圖像。因此，圖像之間的子像素運動、攝像機和后處理模糊以及子采樣被逆轉，以融合所述可用數據，得到超分辨率處理圖像。幾種全局優化迭代技術可用，它們的不同之處基本在于假定圖像先驗模型。這為其他病態問題提供了若干種唯一解。

通常，這些技術的限制因素是在于用于圖像去模糊和配準的點擴散函數(PSF)的估計，也就是，確定圖像之間的子像素運動。通常，文獻中的SR技術指的是用于獲得配準的傳統光流(OF)估計技術。這些技術在準合成例子中表現良好，但在實踐中，當更多一般運動出現時，OF估計中的已知解決方案無法魯棒地、以足夠的精確度配準視頻序列中的連續幀。

眾所周知，在較寬范圍的自然條件下，基于重建的SR算法在局部平移下具有分辨率最大增大1.6倍左右的基本限制，而在合成場景中(這是大多數可獲得的出版物中經常研究的)分辨率增大到5.7倍是可能的。這是由于當子像素的移動通常是像素大小的精確的一部分(fraction)時，配準方面的有利條件。

SR算法的替代類型嘗試通過使用先驗的已知的更高分辨率的實例來足夠地豐富輸入視覺數據(低分辨率圖像)，來增加圖像的分辨率。這些技術通常被稱為基于實例的超分辨率處理(EBSR)。在《Example-based?super-resolution》中，W.T.Freeman、T.R.Jones和E.C.Pasztor從足夠通用的圖像片(patch)數據庫中獲得合適的高分辨率實例，其高頻率內容被求平均并便利地與輸入圖像的低頻率內容融合。然而，當目標場景偏離包含在實例數據庫中的情況時(當沒有已知的片實際上類似于輸入圖像時)，所述算法的性能就惡化了。實際上，擴大數據庫的大小會導致在搜索最佳匹配訓練片時的計算成本過高。因此，這種技術并不是一般常用的，而是集中應用于某一類超分辨率處理圖像。

為了處理該問題，并根據將被放大的內容適應性地表現，其他EBSR算法從所述單幅輸入圖像內提取高分辨率實例，可以在小的縮小因子下獲得其不同分辨率圖像的金字塔表示。然后，對于輸入圖像中的每個片(例如，5×5像素)，在不同的分辨率(在金字塔的各級)的所有或部分圖像中搜索匹配的片，以執行類似于基于重建的超分辨率處理的每個片的數據融合。這種技術的最好代表是D.Glasner、S.Bagon和M.Irani所著的《Super-Resolution?from?a?Single?Image》，以及O.Shahar、A.Faktor和M.Irani所著的《Space-Time?Super-Resolution?from?a?Single?Video》，這是視頻超分辨率處理的后續。以由于在3D時空中搜索跨越幾個空間和時間尺度的視頻幀所導致的計算復雜度的增加為代價，作者獲得圖像分辨率和幀率的同時增加，包括去除時域混疊。當前的計算能力使得該方法不能用于實時操作。

其他已知的辦法也都成本高昂，并且通常不能表明可用于實時方法，或由于施加過度對比度容易產生一些看起來不真實的邊緣，或在紋理區域中容易產生過度平滑，這樣在一般情況下會產生看起來不自然的圖像。