[發(fā)明專利]圖像處理裝置、圖像攝取裝置、圖像處理方法及程序

在審

• 申請?zhí)枺?/td>: 201210147285.2
• 申請日: 2012-05-07
• 公開（公告）號: CN102780849A
• 公開（公告）日: 2012-11-14
• 發(fā)明（設計）人: 海津俊;光永知生;齋藤泰;笠井政范
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N7/01
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責任公司 11258
• 代理人: 宋鶴

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理裝置、圖像攝取裝置、圖像處理方法及程序。特別地，本發(fā)明涉及生成具有高動態(tài)范圍(寬動態(tài)范圍)的圖像的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。

背景技術(shù)

在視頻相機或數(shù)字靜止相機中使用的諸如CCD圖像傳感器或CMOS(互補金屬氧化物半導體)圖像傳感器之類的固態(tài)圖像攝取元件通過蓄積與入射光量一致的電荷并輸出與所蓄積的電荷相對應的電信號來執(zhí)行光電轉(zhuǎn)換。然而，可在光電轉(zhuǎn)換元件中蓄積的電荷量是有限的，因此當已經(jīng)接收到特定光量時，達到飽和水平，于是導致具有特定明度(brightness)以上的被攝體區(qū)域被設定在飽和亮度(luminance)水平，這是稱為“過曝的高亮處”(blown?out?highlights)或者“亮度限幅”(clipping)。

為了防止亮度限幅，執(zhí)行處理來與被攝體的亮度等相應地控制光電轉(zhuǎn)換元件的電荷蓄積時段以調(diào)整曝光時間長度并從而使靈敏度最優(yōu)化。例如，通過使用高快門速度來縮短明亮被攝體的曝光時間長度，從而減少光電轉(zhuǎn)換元件的電荷蓄積時段并且在所蓄積的電荷量達到飽和水平之前輸出電信號。通過執(zhí)行這樣的處理，可以輸出為被攝體正確地再現(xiàn)色調(diào)的圖像。

然而，如果在拍攝存在明亮區(qū)域和黑暗區(qū)域兩者的被攝體時使用高快門速度，曝光時間長度對于黑暗區(qū)域而言將是不足夠的，這將導致S/N比率的惡化以及圖像質(zhì)量的降低。為了正確地再現(xiàn)包括明亮區(qū)域和黑暗區(qū)域兩者的被攝體的所拍攝圖像中的明亮區(qū)域和黑暗區(qū)域的亮度水平，必需針對圖像傳感器上的入射光較少的像素使用長曝光時間以實現(xiàn)高S/N比率，并針對具有大入射光亮的像素執(zhí)行避免飽和的處理。

實現(xiàn)這樣的處理的一種已知方法是以不同的曝光時間長度來連續(xù)攝取多個圖像并在隨后組合這些圖像。即，長時間曝光圖像和短時間曝光圖像被單獨并連續(xù)地攝取，并且針對黑暗圖像區(qū)域使用長時間曝光圖像而針對明亮圖像區(qū)域使用短時間曝光圖像的、對于長時間曝光圖像將發(fā)生亮度限幅的組合處理被執(zhí)行來產(chǎn)生單個圖像。以這種方式，通過組合具有不同曝光時間的多個圖像，可以產(chǎn)生具有高動態(tài)范圍而不具有亮度限幅的圖像。

上述具有高動態(tài)范圍的拍攝類型稱為“HDR”(高動態(tài)范圍)或“WDR”(寬動態(tài)范圍)拍攝。

現(xiàn)在將描述用于實現(xiàn)HDR拍攝的數(shù)個現(xiàn)有技術(shù)。

例如，如日本早期公開專利公布No.H02-174470、No.H07-95481和No.H11-75118以及Orly?Yadid-Pecht和Eric?R.Fossum的“Wide?Intrascene?Dynamic?Range?CMOS?APS?Using?Dual?Sampling”，IEEE?Transactions?On?Electron?Devices，Vol.44-10，pp.1721-1723，1997所述，一種生成HDR圖像的方法是攝取具有不同靈敏度的多個圖像，然后組合這些圖像。現(xiàn)在將參考圖1和圖2描述使用這種方法的圖像攝取裝置的配置和處理示例。

經(jīng)由圖1所示的圖像攝取裝置的鏡頭101輸入到圖像傳感器(圖像攝取元件)102的入射光經(jīng)歷光電轉(zhuǎn)換而輸出傳感器圖像103。該傳感器圖像103被存儲在真存儲器104中。在圖像攝取期間，圖像攝取裝置連續(xù)地攝取兩個圖像，即，一個通過長時間曝光產(chǎn)生的高靈敏度圖像105和一個通過短時間曝光產(chǎn)生的低靈敏度圖像106，將這兩個圖像存儲在幀存儲器104中，并將這兩個圖像輸入到位于下游的HDR處理單元107。

HDR處理單元107對通過長時間曝光產(chǎn)生的高靈敏度圖像105和通過短時間曝光產(chǎn)生的低靈敏度圖像106進行組合以生成單個HDR圖像108。之后，相機信號處理單元109使得HDR圖像108經(jīng)歷典型相機中所執(zhí)行的信號處理(例如，白平衡調(diào)整、伽馬校正和去馬賽克處理)以生成輸出圖像110。

現(xiàn)在將參考圖2描述這樣的處理的處理序列。在圖2中，在從左到右行進的時間軸上示出了下面列出的各種圖像的生成定時。

(a)傳感器圖像103的輸出定時

(b)低靈敏度圖像106的輸出定時

(c)高靈敏度圖像105的輸出定時

(d)HDR圖像108的輸出定時

在時間t1，低靈敏度圖像#1被攝取并被從圖像傳感器102輸出。在時間t2，高靈敏度圖像#2被攝取并被從圖像傳感器102輸出。之后，在t3、t4、...，低靈敏度圖像和高靈敏度圖像被交替攝取。