[發(fā)明專利]圖像處理裝置及圖像處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210458423.9
• 申請(qǐng)日: 2010-04-21
• 公開（公告）號(hào): CN102970464A
• 公開（公告）日: 2013-03-13
• 發(fā)明（設(shè)計(jì)）人: 田村信彥
• 申請(qǐng)（專利權(quán)）人: 佳能株式會(huì)社
• 主分類號(hào): H04N5/217
• 分類號(hào): H04N5/217;G06T5/00
• 代理公司: 北京怡豐知識(shí)產(chǎn)權(quán)代理有限公司 11293
• 代理人: 遲軍;李艷麗

本申請(qǐng)是申請(qǐng)日為2010年4月21日、申請(qǐng)?zhí)枮?01010152969.2、發(fā)明名稱為“圖像處理裝置及圖像處理方法”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)由攝像光學(xué)系統(tǒng)引起的拍攝圖像的模糊(blur)進(jìn)行校正的圖像處理裝置及圖像處理方法。

背景技術(shù)

在諸如數(shù)碼相機(jī)或數(shù)字?jǐn)z像機(jī)的攝像裝置中，由鏡頭等構(gòu)成的攝像光學(xué)系統(tǒng)將來自被攝體的光導(dǎo)至用作攝像設(shè)備的CCD或CMOS傳感器上，以形成圖像。攝像設(shè)備將接收到的光轉(zhuǎn)換為電信號(hào)。電信號(hào)經(jīng)過用于將電信號(hào)轉(zhuǎn)換為圖像數(shù)據(jù)所需的諸如模擬-數(shù)字(A/D)轉(zhuǎn)換以及去馬賽克(demosaicing)的處理，由此獲得拍攝圖像。

由于到達(dá)攝像設(shè)備的光通過了攝像光學(xué)系統(tǒng)，因此攝像設(shè)備影響拍攝圖像的圖像質(zhì)量。例如，當(dāng)使用高性能鏡頭時(shí)，能夠獲得在周邊區(qū)域都具有高分辨率的拍攝圖像。另一方面，如果使用低成本的低性能鏡頭，則拍攝圖像的分辨率尤其在周邊區(qū)域明顯降低。

例如，當(dāng)拍攝星空的圖片時(shí)，通過高性能鏡頭拍攝的圖像將每顆星幾近顯示為點(diǎn)圖像。然而，在通過低性能鏡頭拍攝的圖像中，每顆星不是顯現(xiàn)為點(diǎn)圖像而是發(fā)生模糊(blur)。當(dāng)拍攝人物圖片時(shí)，高性能鏡頭的使用使得人們能夠獲得清晰到每根頭發(fā)的圖像。然而，低性能鏡頭僅能獲得頭發(fā)模糊作一片的圖像。即，通過低性能鏡頭獲得不清晰的圖像。

這種模糊取決于攝像光學(xué)系統(tǒng)的特性，即使在對(duì)焦?fàn)顟B(tài)也會(huì)發(fā)生。換句話說，即使在對(duì)焦?fàn)顟B(tài)，拍攝圖像的分辨率也根據(jù)鏡頭的性能而改變。

有一種通過對(duì)拍攝圖像進(jìn)行圖像處理來校正由攝像光學(xué)系統(tǒng)引起的圖像模糊的方法。在該方法中，基于攝像光學(xué)系統(tǒng)的模糊特性(預(yù)先獲取作為數(shù)據(jù))來執(zhí)行圖像處理，由此校正由攝像光學(xué)系統(tǒng)引起的圖像模糊。

為了獲得攝像光學(xué)系統(tǒng)的模糊特性作為數(shù)據(jù)，例如使用PSF(PointSpread?Function，點(diǎn)擴(kuò)散函數(shù))。PSF表示被攝體的點(diǎn)如何發(fā)生模糊。例如，在黑暗中經(jīng)由攝像光學(xué)系統(tǒng)拍攝體積非常小的發(fā)光體(點(diǎn)光源)。如果使用理想的攝像光學(xué)系統(tǒng)，則光在攝像設(shè)備的面(受光面)上形成點(diǎn)圖像。然而，如果使用引起大的模糊的攝像光學(xué)系統(tǒng)，則光在受光面上形成的不是點(diǎn)圖像而是擴(kuò)散到某一程度的圖像。即，光在受光面上的二維分布與攝像光學(xué)系統(tǒng)的PSF相對(duì)應(yīng)。當(dāng)實(shí)際獲取攝像光學(xué)系統(tǒng)的PSF時(shí)，不總是需要拍攝諸如點(diǎn)光源的被攝體。基于通過拍攝獲得的圖像，例如具有黑白邊緣的圖，可以使用與該圖相對(duì)應(yīng)的計(jì)算方法來計(jì)算PSF。

作為通過PSF校正圖像模糊的方法，已知一種使用逆濾波器(inversefilter)的方法。為了描述方便，假定在黑暗中拍攝點(diǎn)光源的情況。當(dāng)使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)時(shí)，點(diǎn)光源發(fā)出的光在受光面上形成擴(kuò)散到某一程度的光分布。攝像設(shè)備將光轉(zhuǎn)換為電信號(hào)。將該電信號(hào)轉(zhuǎn)換為圖像數(shù)據(jù)，由此獲得點(diǎn)光源的數(shù)字圖像。在使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)獲得的圖像中，不僅與點(diǎn)光源相對(duì)應(yīng)的一個(gè)像素具有有效的非零像素值。周圍的像素也具有接近于零的有效的像素值。將該圖像轉(zhuǎn)換為具有幾乎在一個(gè)點(diǎn)上的有效的像素值的圖像的圖像處理是逆濾波。逆濾波器使得能夠獲得如同使用極少引起模糊的攝像光學(xué)系統(tǒng)所拍攝的圖像。

以上為了說明而以點(diǎn)光源為例。將來自被攝體的光看作許多點(diǎn)光源的集合，消除從被攝體的各個(gè)點(diǎn)發(fā)出或由被攝體的各個(gè)點(diǎn)反射的光的模糊，由此即使對(duì)于點(diǎn)光源以外的被攝體也獲得極少模糊的圖像。

接下來將描述構(gòu)造逆濾波器的詳細(xì)方法。將使用理想的無模糊的攝像光學(xué)系統(tǒng)獲得的拍攝圖像定義為f(x，y)，其中x和y是圖像上的二維像素位置，f(x，y)是像素(x，y)的像素值。將使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)獲得的拍攝圖像定義為g(x，y)。會(huì)引起模糊的攝像光學(xué)系統(tǒng)的PSF由h(x，y)表示。則f、g以及h具有由下式給出的關(guān)系：

g(x，y)=h(x，y)*f(x，y)????…(1)

其中，*表示卷積運(yùn)算。

校正圖像模糊(以下稱為模糊校正)相當(dāng)于根據(jù)使用會(huì)引起模糊的攝像光學(xué)系統(tǒng)獲得的圖像g以及作為該攝像光學(xué)系統(tǒng)的PSF的h來推算使用無模糊的攝像光學(xué)系統(tǒng)獲得的f。當(dāng)對(duì)公式(1)應(yīng)用傅立葉(Fourier)變換以獲得在空間頻域中的表現(xiàn)形式時(shí)，可以將其寫為如下式所給出的各頻率的積：

G(u，V)=H(u，v)·F(u，v)…(2)

其中

H是作為PSF的傅立葉變換的OTF(Optical?Transfer?Function，光學(xué)傳遞函數(shù))，

u是x方向上的空間頻率，

v是y方向上的空間頻率，