[發(fā)明專(zhuān)利]圖像信號(hào)處理裝置、圖像高分辨率化方法、圖像顯示裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 200710149136.9
• 申請(qǐng)日: 2007-09-04
• 公開(kāi)（公告）號(hào): CN101155255A
• 公開(kāi)（公告）日: 2008-04-02
• 發(fā)明（設(shè)計(jì)）人: 影山昌廣;浜田宏一;長(zhǎng)屋茂喜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 株式會(huì)社日立制作所
• 主分類(lèi)號(hào): H04N5/14
• 分類(lèi)號(hào): H04N5/14;H04N7/01
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 龍淳

技術(shù)領(lǐng)域

本發(fā)明涉及用于使圖像信號(hào)高分辨率的技術(shù)，特別是涉及通過(guò)合成多個(gè)圖像幀，增加構(gòu)成圖像幀的像素?cái)?shù)的同時(shí)去除不要的折疊成分而進(jìn)行高分辨率化的技術(shù)。

背景技術(shù)

最近電視接收機(jī)正在發(fā)展大畫(huà)面，一般并不是直接顯示從廣播或者通信、存儲(chǔ)媒體等輸入的圖像信號(hào)而是通過(guò)數(shù)字信號(hào)處理，增加水平·垂直方向的像素?cái)?shù)進(jìn)行顯示。這時(shí)，僅是根據(jù)使用了一般眾所周知的sinc函數(shù)的內(nèi)插低通濾波器或者樣條函數(shù)增加像素?cái)?shù)，不能夠提高分辨率。

因此，如在特開(kāi)平8-336046號(hào)、特開(kāi)平9-69755號(hào)、非專(zhuān)利文獻(xiàn)1(青木伸“基于多個(gè)數(shù)字的圖像數(shù)據(jù)的超清晰處理”，Ricoh?TechnicalReport?pp.19-25，No.24，NOVEMBER，1998)中記載的那樣，通過(guò)合成所輸入的多個(gè)圖像幀(以下，簡(jiǎn)記為幀)構(gòu)成一個(gè)幀，進(jìn)行高分辨率的同時(shí)增加像素?cái)?shù)的技術(shù)(以下，稱為現(xiàn)有技術(shù))。

發(fā)明內(nèi)容

在這些技術(shù)中，通過(guò)(1)位置推定、(2)寬帶內(nèi)插、(3)加權(quán)和的三個(gè)處理進(jìn)行高分辨率化。這里，(1)位置推定是使用所輸入的多個(gè)圖像幀的各圖像數(shù)據(jù)，推定各圖像數(shù)據(jù)的抽樣相位(抽樣位置)的差的技術(shù)。(2)寬帶內(nèi)插是使各圖像數(shù)據(jù)把折疊成分也包括在內(nèi)，使用全部透過(guò)原信號(hào)的高頻成分的寬帶低通濾波器，內(nèi)插并增加像素?cái)?shù)(抽樣點(diǎn))，使圖像數(shù)據(jù)成為高密度的技術(shù)。(3)加權(quán)和是根據(jù)與各高密度化數(shù)據(jù)的抽樣相位相對(duì)應(yīng)的加權(quán)系數(shù)，通過(guò)取加權(quán)和，抵消清除在圖像抽樣時(shí)產(chǎn)生的折疊成分的同時(shí)，恢復(fù)原信號(hào)的高頻成分的技術(shù)。

圖2中表示這些高分辨率化技術(shù)的概要。如該圖(a)所示，設(shè)輸入不同時(shí)間軸上的幀#1(201)、幀#2(202)、幀#3(203)，把它們合成后得到輸出(206)。為了簡(jiǎn)單，首先考慮被拍攝物體沿著水平方向移動(dòng)(204)的情況，考慮通過(guò)水平線(205)上的一維信號(hào)處理進(jìn)行高分辨率化的情況。這時(shí)，如該圖(b)和該圖(d)所示，在幀#2(202)和幀#1(201)中，根據(jù)被拍攝物體的移動(dòng)(204)的量產(chǎn)生信號(hào)波形的位置偏離。通過(guò)上述(1)位置推定，求該位置偏離量，如該圖(c)所示，動(dòng)態(tài)補(bǔ)償(207)幀#2(202)使得沒(méi)有位置偏離的同時(shí)，求各幀的像素(208)的抽樣相位(209)(210)之間的相位差θ(211)。根據(jù)該相位差θ(211)，通過(guò)進(jìn)行上述(2)寬帶內(nèi)插以及(3)加權(quán)和，如該圖(e)所示，通過(guò)在原像素(208)的恰好中間(相位差θ＝π)的位置生成新像素(212)，實(shí)現(xiàn)高分辨率化。

關(guān)于(3)加權(quán)和在后面敘述。另外，實(shí)際上被拍攝物體的活動(dòng)不只是平行移動(dòng)，還應(yīng)該考慮伴隨著旋轉(zhuǎn)或者放大·縮小等的活動(dòng)，而在幀間的時(shí)間間隔微小的情況下或者被拍攝物體的活動(dòng)遲緩的情況下，這些活動(dòng)也能夠近似地考慮為局部的平行移動(dòng)。

在根據(jù)特開(kāi)平8-336046號(hào)、特開(kāi)平9-69755號(hào)、非專(zhuān)利文獻(xiàn)1中記載的現(xiàn)有技術(shù)進(jìn)行一維方向的2倍高分辨率化的情況下，在進(jìn)行上述(3)加權(quán)和時(shí)，如圖3所示，至少需要使用3張幀圖像的信號(hào)。這里，圖3在一維的頻域下表示了各成分的頻譜。該圖中，距頻率軸的距離表示信號(hào)強(qiáng)度，以頻率軸為中心的旋轉(zhuǎn)角表示相位。關(guān)于上述(3)的加權(quán)和在以下詳細(xì)地說(shuō)明。

如果按照上述(2)寬帶內(nèi)插，由透過(guò)奈奎斯特頻率的2倍頻帶(頻率0～抽樣頻率fs的頻帶)的寬帶低通濾波器進(jìn)行像素內(nèi)插，則可以得到與原信號(hào)相同的成分(以下稱為原成分)與抽樣相位對(duì)應(yīng)的折疊成分的和。這時(shí)，對(duì)于3張圖像的信號(hào)如果進(jìn)行上述(2)寬帶內(nèi)插的處理，則如圖3(a)所示，可知各幀的原成分(301)(302)(303)的相位全部一致，折疊成分(304)(305)(306)的相位根據(jù)各幀的抽樣相位的差旋轉(zhuǎn)。為了易于了解各個(gè)相位關(guān)系，該圖(b)表示各幀的原成分的相位關(guān)系，該圖(c)表示各幀的折疊成分的相位關(guān)系。

這里，對(duì)于3張幀圖像的信號(hào)，通過(guò)適當(dāng)?shù)剡x擇乘法的系數(shù)進(jìn)行上述(3)加權(quán)和，能夠相互抵消去除各幀的折疊成分(304)(305)(306)，僅抽取出原成分。這時(shí)，各幀的折疊成分(304)(305)(306)的矢量和為0。即，為了使Re軸(實(shí)軸)的成分和Im軸(虛軸)的成分的雙方都為0，至少需要3個(gè)的折疊成分。從而，為了實(shí)現(xiàn)2倍的高分辨率化，即為了去除1個(gè)折疊成分，需要至少使用3張幀圖像的信號(hào)。