[發(fā)明專利]成像設(shè)備、信號(hào)處理方法和程序

無效

• 申請(qǐng)?zhí)枺?/td>: 201110251482.4
• 申請(qǐng)日: 2011-08-24
• 公開（公告）號(hào): CN102387291A
• 公開（公告）日: 2012-03-21
• 發(fā)明（設(shè)計(jì)）人: 佐藤裕
• 申請(qǐng)（專利權(quán)）人: 索尼公司
• 主分類號(hào): H04N5/14
• 分類號(hào): H04N5/14;H04N9/64
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 李曉冬

技術(shù)領(lǐng)域

本發(fā)明涉及一種成像設(shè)備、信號(hào)處理方法和程序。更具體地，其涉及使得能夠通過使用具有不同曝光時(shí)間的多個(gè)圖像的圖像合成處理來生成具有寬動(dòng)態(tài)范圍和高質(zhì)量的圖像的成像設(shè)備、信號(hào)處理方法和程序。

背景技術(shù)

固態(tài)成像器件，諸如與攝像機(jī)和數(shù)碼照相機(jī)等一起使用的CCD(電荷耦合器件)圖像傳感器和COMS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器之類，積累與入射光量對(duì)應(yīng)的電荷，并且執(zhí)行光電轉(zhuǎn)換，其中輸出與所積累的電荷對(duì)應(yīng)的電信號(hào)。然而，在光電轉(zhuǎn)換器件中所積累的電荷量存在上限，并且在接收到某一數(shù)量以上的光的情況中，所積累的電荷量達(dá)到飽和級(jí)別，導(dǎo)致所謂的“切割白電平”(clipped?white)，其中某一亮度以上的對(duì)象區(qū)域被設(shè)置為飽和輝度級(jí)別。

為了防止這樣的現(xiàn)象，執(zhí)行處理，例如通過根據(jù)外部光的變化等控制光電轉(zhuǎn)換器件處的電荷積累時(shí)段來調(diào)節(jié)曝光時(shí)間，以便控制對(duì)最佳值的靈敏度。例如，針對(duì)明亮的對(duì)象，快門被高速釋放以便縮短曝光時(shí)間，從而縮短光電轉(zhuǎn)換器件處的電荷積累時(shí)段，并且在積累電荷量達(dá)到飽和級(jí)別之前輸出電信號(hào)。這樣的處理使得能夠輸出其中與對(duì)象相對(duì)應(yīng)的梯度被準(zhǔn)確再現(xiàn)的圖像。

然而，當(dāng)對(duì)包含明亮的和黑暗的部分的對(duì)象成像時(shí)，高速釋放快門導(dǎo)致黑暗部分處曝光時(shí)間不充分，劣化S/N(信號(hào)與噪聲)比并且圖像質(zhì)量受損。為了準(zhǔn)確地再現(xiàn)既存在明亮部分又存在黑暗部分的對(duì)象的攝得圖像中的明亮部分和黑暗部分輝度級(jí)別，在圖像傳感器上對(duì)幾乎沒有入射光的像素通過長曝光時(shí)間實(shí)現(xiàn)高S/N(信號(hào)與噪聲)比，而在有較多光輸入的像素處實(shí)現(xiàn)避免飽和的處理。

存在使用具有不同曝光時(shí)間的多個(gè)圖像的相關(guān)技術(shù)。該技術(shù)涉及針對(duì)黑暗的圖像使用長時(shí)段曝光圖像，并且針對(duì)利用短曝光時(shí)段將發(fā)生切割白電平的圖像區(qū)域使用短時(shí)段曝光圖像，以便確定和優(yōu)化像素電平。通過合成多個(gè)不同的曝光圖像，可以獲得具有寬動(dòng)態(tài)范圍并且沒有切割白電平的圖像。

例如，日本未審查專利申請(qǐng)?zhí)亻_2008-99158號(hào)公報(bào)和日本未審查專利申請(qǐng)?zhí)亻_2008-227697號(hào)公報(bào)公開了用于合成具有不同曝光量的多個(gè)圖像來獲取具有寬動(dòng)態(tài)范圍的圖像的配置。

圖1是根據(jù)相關(guān)技術(shù)的成像設(shè)備10的框圖，其合成通過在每個(gè)垂直周期在長曝光和短曝光之間切換成像器件的曝光時(shí)間所獲得的具有兩種靈敏度的圖像，并且生成寬動(dòng)態(tài)范圍圖像。

將描述利用成像設(shè)備10來生成寬動(dòng)態(tài)范圍圖像的處理。經(jīng)過鏡頭11輸入的光在成像器件12處經(jīng)理光電轉(zhuǎn)換，輸出圖片信號(hào)在模擬前端13處經(jīng)歷相關(guān)雙采樣處理和AGC(自動(dòng)增益控制)，并且隨后經(jīng)歷A/D(模擬轉(zhuǎn)數(shù)字)轉(zhuǎn)換變成數(shù)字信號(hào)。從模擬前端13輸出的數(shù)字成像信號(hào)被輸入信號(hào)處理單元20。

在信號(hào)處理單元20處，首先，由YRGB生成電路21生成作為輝度信號(hào)的Y信號(hào)和作為色彩信號(hào)的R信號(hào)、G信號(hào)和B信號(hào)，YRGB也稱為輝度RGB。從YRGB生成電路21輸出的Y信號(hào)、R信號(hào)、G信號(hào)和B信號(hào)在第一信號(hào)處理單元22處經(jīng)歷適當(dāng)?shù)男盘?hào)處理，并且隨后向存儲(chǔ)器23的寫入處理被執(zhí)行。

存儲(chǔ)器23存儲(chǔ)在成像器件處具有不同曝光時(shí)間的低靈敏度圖像和高靈敏度圖像，即長曝光圖像和短曝光圖像。之后，長曝光圖像和短曝光圖像從存儲(chǔ)器23被讀出并且被輸入到(執(zhí)行WDR(寬動(dòng)態(tài)范圍合成)的)圖像合成單元24中，在那兒執(zhí)行通過圖像合成獲得寬動(dòng)態(tài)范圍的處理。

隨后，具有寬動(dòng)態(tài)范圍的合成圖像被輸入圖像校正單元25來執(zhí)行γ校正處理等，例如包括用于將YRGB轉(zhuǎn)換成包含色差信號(hào)的YCbCr信號(hào)的處理，還包括在第二信號(hào)處理單元26和處執(zhí)行的最終信號(hào)處理并且最終輸出信號(hào)被生成。

注意，通常，第一信號(hào)處理單元22執(zhí)行頻率校正、信號(hào)電平校正、WB(白平衡)校正等等，第一信號(hào)處理單元22和第二信號(hào)處理單元26結(jié)合對(duì)存儲(chǔ)器23的控制，執(zhí)行圖像的垂直反轉(zhuǎn)、慢快門/靜止快門操作、人手移動(dòng)補(bǔ)償、電子縮放等，并且第二信號(hào)處理單元26執(zhí)行峰值切割(peak?clipping)、色差信號(hào)的生成、OSD(屏幕顯示)、輸出編碼處理等等。