[發(fā)明專利]圖像處理設(shè)備、成像設(shè)備、圖像處理方法及程序

有效

• 申請(qǐng)?zhí)枺?/td>: 200910147247.5
• 申請(qǐng)日: 2009-06-12
• 公開（公告）號(hào): CN101605208A
• 公開（公告）日: 2009-12-16
• 發(fā)明（設(shè)計(jì)）人: 田丸雅也
• 申請(qǐng)（專利權(quán)）人: 富士膠片株式會(huì)社
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232;G06T5/00
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 陳 源;張?zhí)焓?/td>

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理設(shè)備、成像設(shè)備、以及深度圖像產(chǎn)生方法和程序，更具體地說，本發(fā)明涉及能夠通過對(duì)焦包圍(focus?bracketing)來獲取全聚焦(omni-focus)圖像或模糊增強(qiáng)(blur-enhanced)圖像的圖像處理設(shè)備、成像設(shè)備、以及深度圖像產(chǎn)生方法及程序。?

背景技術(shù)

作為一種采用由對(duì)焦包圍(在改變透鏡的聚焦位置的同時(shí)連續(xù)捕捉物像)所獲取的多個(gè)圖像(下文將其稱為對(duì)焦包圍圖像)來獲取全聚焦圖像的技術(shù)，日本專利申請(qǐng)公開No.H06-311411公開了一種用于通過下述步驟來產(chǎn)生毫不模糊的合成圖像的技術(shù)：利用差分濾波器判斷對(duì)焦包圍圖像中的每個(gè)像素的對(duì)比度(參見圖17中的SA-SA2)；將對(duì)比度等于或大于規(guī)定對(duì)比度并且“成對(duì)”的像素之間的區(qū)域確定作為高對(duì)比度焦點(diǎn)對(duì)準(zhǔn)區(qū)域(參見圖17中的SA3-SE)；以及僅僅合成每個(gè)圖像中的焦點(diǎn)對(duì)準(zhǔn)區(qū)域中的像素。?

作為一種用于利用對(duì)焦包圍圖像來執(zhí)行全聚焦處理以便獲取圖像(全聚焦圖像，其中幀中的每個(gè)對(duì)象都是焦點(diǎn)對(duì)準(zhǔn)的)、或者執(zhí)行模糊增強(qiáng)處理以便獲取圖像(模糊增強(qiáng)圖像，其中主要對(duì)象是焦點(diǎn)對(duì)準(zhǔn)的，而其他對(duì)象則在遠(yuǎn)離實(shí)際景深度處變得模糊)的方法，采用了一種利用差分濾波器以圖像為基礎(chǔ)并以像素為基礎(chǔ)計(jì)算出來的清晰度來以像素為基礎(chǔ)判斷對(duì)焦包圍圖像中哪個(gè)圖像是聚焦最好的圖像，并且據(jù)此計(jì)算用于全聚焦處理的合成加權(quán)系數(shù)或用于模糊增強(qiáng)處理的模糊量。?

發(fā)明內(nèi)容

但是，日本專利申請(qǐng)公開No.H06-311411所公開的發(fā)明將對(duì)比度等于或大于規(guī)定對(duì)比度并且“成對(duì)”的像素之間的區(qū)域用作焦點(diǎn)對(duì)準(zhǔn)區(qū)域，這造成缺乏穩(wěn)定性的問題。更具體地說，如果由于噪聲等原因而檢測(cè)到其上的信號(hào)應(yīng)該被檢測(cè)到以成對(duì)的像素之外的像素上的信號(hào)，而錯(cuò)誤判斷，則會(huì)出現(xiàn)沒有將高對(duì)比度區(qū)域判斷為焦點(diǎn)對(duì)準(zhǔn)區(qū)域的問題。?

并且，在日本專利申請(qǐng)公開No.H06-311411所公開的發(fā)明中，在焦點(diǎn)對(duì)準(zhǔn)區(qū)域和焦點(diǎn)未對(duì)準(zhǔn)區(qū)域之間的邊界處會(huì)突然發(fā)生像素值的變化，從而造成不連續(xù)的灰度級(jí)以及不自然的合成圖像的問題。?

在利用差分濾波器等以圖像為基礎(chǔ)或像素為基礎(chǔ)計(jì)算出來的清晰度來以像素為基礎(chǔ)判斷對(duì)焦包圍圖像中哪個(gè)圖像是聚焦最好的圖像、并且據(jù)此計(jì)算用于全聚焦處理的合成加權(quán)系數(shù)或用于模糊增強(qiáng)處理的模糊量的方法中，僅僅在像素的基礎(chǔ)上根據(jù)清晰度來獲取焦點(diǎn)對(duì)準(zhǔn)判斷結(jié)果，這就出現(xiàn)了焦點(diǎn)對(duì)準(zhǔn)判斷容易造成空間不連續(xù)的值并且通常不能獲取期望值的問題。?

圖18是示出了以像素為基礎(chǔ)的對(duì)焦包圍圖像中的在邊緣聚焦的圖像1和未聚焦的圖像2之間的變化(注意對(duì)象的某一邊緣)、通過將差分濾波器[1，-2，1]施加至圖像1和圖像2的每個(gè)像素并計(jì)算施加的絕對(duì)值作為清晰度而獲取的結(jié)果、以及通過將像素上的清晰度較高的圖像編號(hào)判斷為焦點(diǎn)對(duì)準(zhǔn)的而獲取的結(jié)果(深度圖像)的圖表。?

由于在圖像1中，像素值在邊緣的變化點(diǎn)發(fā)生突變，所以清晰度變成了較高值“8”。由于在邊緣的變化點(diǎn)之外的像素中不會(huì)發(fā)生變化，所以清晰度變?yōu)椤?”。另一方面，由于在圖2中，像素值在邊緣的變化點(diǎn)周圍平緩地發(fā)生變化，所以像素的清晰度變?yōu)椤?”。由于像素值中的變化速率在邊緣的變化點(diǎn)上是恒定的，所以清晰度變?yōu)椤?”。?

當(dāng)然，會(huì)作出這樣的判斷，即，因?yàn)樵谶吘壸兓c(diǎn)(前一像素和后一像素)周圍圖像1的清晰度高于圖像2的清晰度，所以圖像1是聚焦的。但是，雖然可以認(rèn)為在邊緣變化點(diǎn)附近的區(qū)域中焦點(diǎn)落在圖像1上，但是圖像2的清晰度高于圖像1的清晰度。因此，不同于?實(shí)際情況，可以理解很容易作出認(rèn)為焦點(diǎn)落在圖像2上的錯(cuò)誤判斷。這是因?yàn)椋趫D像2中，模糊的邊緣在空間上延展，從而對(duì)其計(jì)算清晰度的區(qū)域展寬，而在圖像1中，對(duì)其計(jì)算清晰度的像素僅限于突變邊緣的變化點(diǎn)的區(qū)域內(nèi)。?

在邊緣變化點(diǎn)周圍的區(qū)域中或者在圖像1和圖像2中的像素值都不變的區(qū)域中，兩者的清晰度值都等于“0”。但是，當(dāng)圖像傳感器等中的小噪聲使得清晰度變成“0”之外的值時(shí)，可能作出這樣的錯(cuò)誤判斷，即其清晰度是“0”之外的值的圖像是聚焦的。換句話說，由于噪聲的影響，出現(xiàn)了不能確定哪張圖像是焦點(diǎn)對(duì)準(zhǔn)的情況。?

如上所述，參考每個(gè)像素上的清晰度而作出的焦點(diǎn)對(duì)準(zhǔn)判斷產(chǎn)生了處理在空間上的不連續(xù)或者錯(cuò)誤判斷，并且很容易導(dǎo)致不自然的全聚焦圖像或模糊增強(qiáng)圖像的問題。?

而且，由于僅僅像素上的清晰度較高的圖像的編號(hào)被用于聚焦的判斷，所以圖像1中邊緣變化點(diǎn)附近(該像素之前和之后的相鄰像素)的高清晰度值“8”不會(huì)被反映出來。?