[發(fā)明專利]攝像裝置、圖像處理裝置以及圖像處理程序

有效

• 申請?zhí)枺?/td>: 201180002102.1
• 申請日: 2011-01-27
• 公開（公告）號: CN102428694A
• 公開（公告）日: 2012-04-25
• 發(fā)明（設(shè)計(jì)）人: 石井育規(guī);物部祐亮
• 申請（專利權(quán)）人: 松下電器產(chǎn)業(yè)株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 汪惠民

技術(shù)領(lǐng)域

本發(fā)明涉及用于圖像復(fù)原的攝像裝置、圖像處理裝置、以及圖像處理程序。

背景技術(shù)

用數(shù)碼相機(jī)拍攝圖像時(shí)，根據(jù)CCD(Charge-Coupled?Device)、或者CMOS的讀出電路的特性和傳輸路徑的特性，有時(shí)會在圖像中加入噪聲。此外，還產(chǎn)生由于在拍攝時(shí)沒有對準(zhǔn)焦點(diǎn)(失焦：out-of-focus)而導(dǎo)致的圖像的模糊(blur)、和由于手抖動(dòng)(camera?shake)等而導(dǎo)致的圖像的模糊。像這樣，在起因于拍攝圖像固有特性的噪聲中加入起因于攝影時(shí)的人為操作的模糊，因此圖像劣化。在這些“模糊”中，將攝影(曝光)中的相機(jī)的運(yùn)動(dòng)所導(dǎo)致的圖像的模糊(手抖動(dòng))稱作“運(yùn)動(dòng)模糊(motion?blur)”，與失焦所導(dǎo)致的模糊(out-of-focus?blur)相區(qū)分。

近年來，高靈敏度攝影的需要尤其增大，從而需要將由于模糊而劣化的圖像(以下，稱作“劣化圖像”)復(fù)原為盡量接近原始圖像(以下，稱作“理想圖像”)的圖像。為了實(shí)現(xiàn)高靈敏度攝影所要求的、明亮且無噪聲和模糊的圖像，大致存在提高靈敏度的想法、和延長曝光時(shí)間的想法。

然而，若提高靈敏度則噪聲也會被放大。因此，信號被噪聲埋沒，經(jīng)常成為噪聲占據(jù)大部分的圖像。另一方面，通過延長曝光時(shí)間，從而較多地積累當(dāng)時(shí)產(chǎn)生的光，能夠得到噪聲較少的圖像。在此情況下，雖然信號不會被噪聲埋沒，但存在由于曝光時(shí)間中的手抖動(dòng)而在圖像中產(chǎn)生運(yùn)動(dòng)模糊的問題。

因此，在現(xiàn)有技術(shù)中，采取了用兩種方法延長曝光時(shí)間的情況下的處理方法。一種是透鏡移動(dòng)或傳感器移動(dòng)這種光學(xué)式手抖動(dòng)補(bǔ)償。光學(xué)手抖動(dòng)補(bǔ)償例如在專利文獻(xiàn)1中公開。另一種是根據(jù)得到的圖像來求出運(yùn)動(dòng)模糊的方向/大小，并據(jù)此通過信號處理來對圖像進(jìn)行復(fù)原的方法(基于信號處理的復(fù)原方法)?；谛盘柼幚淼膹?fù)原方法例如在專利文獻(xiàn)2～4、非專利文獻(xiàn)1～7等中公開。

若在較暗的環(huán)境下為了確保充足的光量而延長曝光時(shí)間，則容易產(chǎn)生手抖動(dòng)。為了在這種較暗的環(huán)境下，通過光學(xué)式手抖動(dòng)補(bǔ)償來應(yīng)對運(yùn)動(dòng)模糊，需要增大透鏡和傳感器的可動(dòng)范圍。但是，若可動(dòng)范圍變大則有在透鏡和傳感器移動(dòng)時(shí)產(chǎn)生時(shí)間延遲的問題。此外，增大可動(dòng)范圍存在物理上的限度。

圖像由于手抖動(dòng)而從理想圖像劣化為劣化圖像的現(xiàn)象，可以如下這樣來模型化?？梢哉J(rèn)為表示劣化圖像中的各像素的亮度的函數(shù)能夠通過表示理想圖像中的各像素的亮度的函數(shù)、和表示圖像的運(yùn)動(dòng)模糊的點(diǎn)擴(kuò)散函數(shù)(PSF；Point?Spread?Function)的卷積(convolution)而得到。并且，為了將得到的劣化圖像復(fù)原為理想圖像，只要進(jìn)行劣化圖像和PSF的逆卷積(deconvolution)即可。卷積運(yùn)算在頻率空間中相當(dāng)于乘法運(yùn)算，因此通過在頻率空間中將劣化圖像除以PSF，能夠得到復(fù)原圖像。

像這樣在PSF已知的情況下，若無視噪聲的影響，則通過上述逆卷積運(yùn)算能夠比較容易地得到復(fù)原圖像。另一方面，在PSF未知的情況下，為了得到復(fù)原圖像需要根據(jù)劣化圖像來推算PSF。

在PSF的推算中，已知例如非專利文獻(xiàn)1中公開的基于稀疏編碼的方法等。在該方法中，首先根據(jù)手動(dòng)提供的初始PSF和劣化圖像來得到第1復(fù)原結(jié)果。接著利用第1復(fù)原結(jié)果和劣化圖像來推算被認(rèn)為更接近真正的PSF的PSF，并用推算出的PSF來修正初始PSF。利用修正后的PSF根據(jù)劣化圖像來得到第2復(fù)原結(jié)果。以后，通過反復(fù)進(jìn)行根據(jù)第(N-1)個(gè)PSF和劣化圖像來得到第N個(gè)復(fù)原圖像，并根據(jù)第N個(gè)復(fù)原圖像和劣化圖像來推算第N個(gè)PSF的操作，來同時(shí)進(jìn)行PSF的推算和劣化圖像的復(fù)原。

但是，在此方法中，有在復(fù)原后的圖像中產(chǎn)生振鈴等噪聲的問題。“振鈴(ringing)”是指，在圖像中亮度等一樣的部分(平坦部)看起來不平坦的噪聲。

圖1(a)是表示亮度呈階梯狀變化的圖像(邊緣附近的理想圖像)的平面圖，圖1(b)是示意性地表示其亮度分布的曲線圖。圖2(a)是表示通過用相機(jī)拍攝圖1(a)的圖像而得到的劣化圖像(模糊圖像：blurred?image)的平面圖，圖2(b)是示意性地表示其亮度分布的曲線圖。在此，假設(shè)在相機(jī)攝影時(shí)，在水平橫方向產(chǎn)生了手抖動(dòng)。圖2(a)的劣化圖像產(chǎn)生了手抖動(dòng)所導(dǎo)致的模糊(運(yùn)動(dòng)模糊)，因此失去了邊緣的銳度。圖3(a)是表示通過信號處理而對圖2(a)的劣化圖像進(jìn)行了復(fù)原的圖像的平面圖，圖3(b)是示意性地表示復(fù)原圖像的亮度分布的曲線圖。在圖3(a)的復(fù)原圖像中存在亮度周期性地變化的部分。這種亮度變化是被稱作“振鈴”的噪聲。振鈴由于在頻率空間上存在PSF的值為0的點(diǎn)而產(chǎn)生。