[發(fā)明專利]用于圖像的超分辨率的方法與設(shè)備

有效

• 申請?zhí)枺?/td>: 200980114216.8
• 申請日: 2009-03-12
• 公開（公告）號: CN102016915A
• 公開（公告）日: 2011-04-13
• 發(fā)明（設(shè)計）人: Y·賈
• 申請（專利權(quán)）人: ATI技術(shù)無限責(zé)任公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/20;H04N7/015
• 代理公司: 北京戈程知識產(chǎn)權(quán)代理有限公司 11314
• 代理人: 程偉;王錦陽

技術(shù)領(lǐng)域

本發(fā)明大體而言是關(guān)于圖像的超分辨率(super-resolution)。

背景技術(shù)

許多的應(yīng)用，例如高清晰度電視、鑒識成像(forensic?imaging)、監(jiān)控成像、衛(wèi)星成像、醫(yī)學(xué)與科學(xué)成像，使用增加量的具有效益的分辨率(resolution)。努力達到更增圖像分辨率是致力于所需要的光學(xué)與電子學(xué)的成本與復(fù)雜度。同樣地，為了增加圖像的像素密度，降低感應(yīng)器中的像素尺寸，由于每個像素可獲得的光較少量，因而增加散射噪聲(shot?noise)的效應(yīng)。

經(jīng)由背景，視頻信號是圖像幀的連續(xù)流。每一個幀捕捉特定景象的暫時時刻。由于攝影的移動或是所捕捉景象的移動，圖像幀之間亦可具有空間差距。例如，每一個圖像例如低分辨率(LR)圖像，是代表具有一般實質(zhì)噪聲量的景象。噪聲可能是由于圖像捕捉中的信息遺失，例如低分辨率圖像，以及電子或光學(xué)的其它形式，貢獻至圖像與實際景象之間對應(yīng)的普遍削減的噪聲。

使用空間插補的分辨率促進技術(shù)-例如雙線性過濾、雙三次插(bi-cubic)過濾以及多相過濾-獲得額外的畫素，用于使用一低分辨率圖像幀的像素的高分辨率(HR)圖像幀。使用單一圖像幀的像素以獲得用于高分辨率圖像的額外像素，通常造成難辨的圖像。例如，在雙線性過濾中，可平均兩個相鄰的像素，以產(chǎn)生新像素的值而插入其中：新像素為兩原始像素的平均值可能導(dǎo)入一些難辨性至圖像。

視頻信號的超分辨率是通過圖像處理，將在低空間分辨率的輸入視頻幀序列轉(zhuǎn)型成為高空間分辨率的輸出視頻幀序列的技術(shù)。相較于空間插補技術(shù)，來自于多重低分辨率幀的信息用以發(fā)展高分辨率幀。使用多重低分辨率幀圖像使得超分辨率能夠產(chǎn)生具有在單一低分辨率圖像中不可獲得的細節(jié)的高分辨率圖像。這些高分辨率圖像具有更大的空間細節(jié)、較銳利的邊緣、較少的加工，例如模糊與失真，以及較不顯著的噪聲。

可將超分辨率公式化成為數(shù)學(xué)方程式(1)顯示的倒置問題。方程式(1)表示所觀察的景象的低分辨率圖像的序列是得自于由圖像處理噪聲與附加的隨機噪聲所完成的景象的高分辨率圖像。

Y＝HX+N??(1)，

其中X代表未知的高分辨率圖像、Y代表所觀察的低分辨率圖像、H是圖像處理的系統(tǒng)矩陣，以及N是隨機附加噪聲。H代表由例如光學(xué)失真、移動模糊、光學(xué)或電子內(nèi)的噪聲、圖像傳輸中所導(dǎo)入的噪聲以及不足的感應(yīng)器密度所造成的空間分辨率的自然損失。在超分辨率中，通常，目標是從一套所觀察的圖像Y發(fā)現(xiàn)對應(yīng)的高分辨率圖像X的估計值。

超分辨率的技藝中描述數(shù)個技術(shù)。良好的概述如2003年5月Park，S.C，Park，M.K.與Kang，M.G.在IEEE信號處理雜志20(3)：21-36所發(fā)表的「超分辨率圖像重建：技術(shù)概述」，以及2004年8月Farsiu，S.，Robinson，D.，Elad，M.與Milanfar，P.在圖像系統(tǒng)與技術(shù)的國際期刊，第14冊第2卷第47-57頁所發(fā)表的「超分辨率的先進與挑戰(zhàn)」。通常，超分辨率技術(shù)可分類為以移動為基礎(chǔ)或是無移動。在以移動為基礎(chǔ)的技術(shù)中，嘗試追蹤多重低分辨率圖像的目標，而后將目標的這些空間偏移的變化結(jié)合成為目標的高分辨率圖像。在無移動的方法中，使用例如低分辨率與高分辨率圖像的已知對應(yīng)樣品與邊緣的線索，以獲得高分辨率細節(jié)。

無移動的技術(shù)例如1987年3月在計算機視野與圖像處理的先進第5冊第3卷第223-226頁中，Tsai，R.與Huang，T.發(fā)表的「多幀圖像回復(fù)與登錄」中所描述的頻域(frequency-domain)方法，依賴于低分辨率幀之間的整體移動(global?motion)。其它無移動的方法，例如2001年12月計算機視野與圖案辨識IEEE會議第627-634頁中，Kepel，D.與Zisserman，A.發(fā)表的「從使用學(xué)習(xí)圖像模式的多重視野的超分辨率」所描述的以學(xué)習(xí)為基礎(chǔ)的方法，需要低分辨率與對應(yīng)的高分辨率圖像之間射頻的大規(guī)模數(shù)據(jù)庫發(fā)展。