[發(fā)明專(zhuān)利]圖像處理裝置及圖像處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010152969.2
• 申請(qǐng)日: 2010-04-21
• 公開(kāi)（公告）號(hào): CN101873428A
• 公開(kāi)（公告）日: 2010-10-27
• 發(fā)明（設(shè)計(jì)）人: 田村信彥
• 申請(qǐng)（專(zhuān)利權(quán)）人: 佳能株式會(huì)社
• 主分類(lèi)號(hào): H04N5/232
• 分類(lèi)號(hào): H04N5/232
• 代理公司: 北京怡豐知識(shí)產(chǎn)權(quán)代理有限公司 11293
• 代理人: 遲軍

技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)由攝像光學(xué)系統(tǒng)引起的拍攝圖像的模糊(blur)進(jìn)行校正的圖像處理裝置及圖像處理方法。

背景技術(shù)

在諸如數(shù)碼相機(jī)或數(shù)字?jǐn)z像機(jī)的攝像裝置中，由鏡頭等構(gòu)成的攝像光學(xué)系統(tǒng)將來(lái)自被攝體的光導(dǎo)至用作攝像設(shè)備的CCD或CMOS傳感器上，以形成圖像。攝像設(shè)備將接收到的光轉(zhuǎn)換為電信號(hào)。電信號(hào)經(jīng)過(guò)用于將電信號(hào)轉(zhuǎn)換為圖像數(shù)據(jù)所需的諸如模擬-數(shù)字(A/D)轉(zhuǎn)換以及去馬賽克(demosaicing)的處理，由此獲得拍攝圖像。

由于到達(dá)攝像設(shè)備的光通過(guò)了攝像光學(xué)系統(tǒng)，因此攝像設(shè)備影響拍攝圖像的圖像質(zhì)量。例如，當(dāng)使用高性能鏡頭時(shí)，能夠獲得在周邊區(qū)域都具有高分辨率的拍攝圖像。另一方面，如果使用低成本的低性能鏡頭，則拍攝圖像的分辨率尤其在周邊區(qū)域明顯降低。

例如，當(dāng)拍攝星空的圖片時(shí)，通過(guò)高性能鏡頭拍攝的圖像將每顆星幾近顯示為點(diǎn)圖像。然而，在通過(guò)低性能鏡頭拍攝的圖像中，每顆星不是顯現(xiàn)為點(diǎn)圖像而是發(fā)生模糊(blur)。當(dāng)拍攝人物圖片時(shí)，高性能鏡頭的使用使得人們能夠獲得清晰到每根頭發(fā)的圖像。然而，低性能鏡頭僅能獲得頭發(fā)模糊作一片的圖像。即，通過(guò)低性能鏡頭獲得不清晰的圖像。

這種模糊取決于攝像光學(xué)系統(tǒng)的特性，即使在對(duì)焦?fàn)顟B(tài)也會(huì)發(fā)生。換句話說(shuō)，即使在對(duì)焦?fàn)顟B(tài)，拍攝圖像的分辨率也根據(jù)鏡頭的性能而改變。

有一種通過(guò)對(duì)拍攝圖像進(jìn)行圖像處理來(lái)校正由攝像光學(xué)系統(tǒng)引起的圖像模糊的方法。在該方法中，基于攝像光學(xué)系統(tǒng)的模糊特性(預(yù)先獲取作為數(shù)據(jù))來(lái)執(zhí)行圖像處理，由此校正由攝像光學(xué)系統(tǒng)引起的圖像模糊。

為了獲得攝像光學(xué)系統(tǒng)的模糊特性作為數(shù)據(jù)，例如使用PSF(PointSpread?Function，點(diǎn)擴(kuò)散函數(shù))。PSF表示被攝體的點(diǎn)如何發(fā)生模糊。例如，在黑暗中經(jīng)由攝像光學(xué)系統(tǒng)拍攝體積非常小的發(fā)光體(點(diǎn)光源)。如果使用理想的攝像光學(xué)系統(tǒng)，則光在攝像設(shè)備的面(受光面)上形成點(diǎn)圖像。然而，如果使用引起大的模糊的攝像光學(xué)系統(tǒng)，則光在受光面上形成的不是點(diǎn)圖像而是擴(kuò)散到某一程度的圖像。即，光在受光面上的二維分布與攝像光學(xué)系統(tǒng)的PSF相對(duì)應(yīng)。當(dāng)實(shí)際獲取攝像光學(xué)系統(tǒng)的PSF時(shí)，不總是需要拍攝諸如點(diǎn)光源的被攝體。基于通過(guò)拍攝獲得的圖像，例如具有黑白邊緣的圖，可以使用與該圖相對(duì)應(yīng)的計(jì)算方法來(lái)計(jì)算PSF。

作為通過(guò)PSF校正圖像模糊的方法，已知一種使用逆濾波器(inversefilter)的方法。為了描述方便，假定在黑暗中拍攝點(diǎn)光源的情況。當(dāng)使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)時(shí)，點(diǎn)光源發(fā)出的光在受光面上形成擴(kuò)散到某一程度的光分布。攝像設(shè)備將光轉(zhuǎn)換為電信號(hào)。將該電信號(hào)轉(zhuǎn)換為圖像數(shù)據(jù)，由此獲得點(diǎn)光源的數(shù)字圖像。在使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)獲得的圖像中，不僅與點(diǎn)光源相對(duì)應(yīng)的一個(gè)像素具有有效的非零像素值。周?chē)南袼匾簿哂薪咏诹愕挠行У南袼刂怠⒃搱D像轉(zhuǎn)換為具有幾乎在一個(gè)點(diǎn)上的有效的像素值的圖像的圖像處理是逆濾波。逆濾波器使得能夠獲得如同使用極少引起模糊的攝像光學(xué)系統(tǒng)所拍攝的圖像。

以上為了說(shuō)明而以點(diǎn)光源為例。將來(lái)自被攝體的光看作許多點(diǎn)光源的集合，消除從被攝體的各個(gè)點(diǎn)發(fā)出或由被攝體的各個(gè)點(diǎn)反射的光的模糊，由此即使對(duì)于點(diǎn)光源以外的被攝體也獲得極少模糊的圖像。

接下來(lái)將描述構(gòu)造逆濾波器的詳細(xì)方法。將使用理想的無(wú)模糊的攝像光學(xué)系統(tǒng)獲得的拍攝圖像定義為f(x，y)，其中x和y是圖像上的二維像素位置，f(x，y)是像素(x，y)的像素值。將使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)獲得的拍攝圖像定義為g(x，y)。會(huì)引起模糊的攝像光學(xué)系統(tǒng)的PSF由h(x，y)表示。則f、g以及h具有由下式給出的關(guān)系：

g(x，y)＝h(x，y)*f(x，y)????...(1)

其中，*表示卷積運(yùn)算。

校正圖像模糊(以下稱(chēng)為模糊校正)相當(dāng)于根據(jù)使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)獲得的圖像g以及作為該攝像光學(xué)系統(tǒng)的PSF的h來(lái)推算使用無(wú)模糊的攝像光學(xué)系統(tǒng)獲得的f。當(dāng)對(duì)公式(1)應(yīng)用傅立葉(Fourier)變換以獲得在空間頻域中的表現(xiàn)形式時(shí)，可以將其寫(xiě)為如下式所給出的各頻率的積：

G(u，v)＝H(u，v)·F(u，v)????...(2)

其中

H是作為PSF的傅立葉變換的OTF(Optical?Transfer?Function，光學(xué)傳遞函數(shù))，

u是x方向上的空間頻率，

v是y方向上的空間頻率，

G是g的傅立葉變換，并且

F是f的傅立葉變換。

為了由模糊的拍攝圖像g獲得無(wú)模糊的拍攝圖像f，將公式(2)的兩側(cè)都除以H