[發(fā)明專利]圖像處理裝置及控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210090597.4
• 申請(qǐng)日: 2012-03-30
• 公開（公告）號(hào): CN102740082A
• 公開（公告）日: 2012-10-17
• 發(fā)明（設(shè)計(jì)）人: 椿秀敏
• 申請(qǐng)（專利權(quán)）人: 佳能株式會(huì)社
• 主分類號(hào): H04N9/04
• 分類號(hào): H04N9/04;H04N5/232
• 代理公司: 北京怡豐知識(shí)產(chǎn)權(quán)代理有限公司 11293
• 代理人: 遲軍;李艷麗

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理裝置及控制方法，尤其涉及一種通過合成多個(gè)曝光不同的圖像來擴(kuò)展色調(diào)范圍的動(dòng)態(tài)范圍擴(kuò)展技術(shù)。

背景技術(shù)

近年來，諸如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)的一些攝像裝置具有如下動(dòng)態(tài)范圍擴(kuò)展功能：其通過合成多個(gè)曝光不同的圖像(通過使用不同的曝光時(shí)間來拍攝被攝體的圖像來獲得這些圖像)來獲得色調(diào)范圍得到擴(kuò)展的圖像。

在動(dòng)態(tài)范圍擴(kuò)展功能中使用的動(dòng)態(tài)范圍擴(kuò)展技術(shù)(即所謂的HDR(High?Dynamic?Range，高動(dòng)態(tài)范圍)圖像生成技術(shù))的基本概念如下。

●由曝光時(shí)間比曝光過度圖像短的拍攝圖像的圖像元素，補(bǔ)償曝光過度圖像中的過曝高亮(blown-out?highlight)區(qū)域的圖像元素。

●由曝光時(shí)間比曝光不足圖像長(zhǎng)的拍攝圖像的圖像元素，補(bǔ)償該曝光不足圖像中的陰影細(xì)節(jié)丟失(shadow-detail?loss)區(qū)域的圖像元素。

以此方式，能夠擴(kuò)展圖像的色調(diào)范圍，而不引起任何的陰影細(xì)節(jié)丟失或過曝高亮。更具體地說，通過執(zhí)行處理(例如替換為曝光不同的圖像或適當(dāng)曝光的圖像的圖像元素、或者對(duì)處理中使用的所有圖像進(jìn)行加權(quán)平均)來生成色調(diào)范圍得到擴(kuò)展的待生成圖像(HDR圖像)的各圖像元素。請(qǐng)注意，由于曝光不同的圖像因不同的曝光時(shí)間而具有不同的色調(diào)等級(jí)，因此，在對(duì)這些圖像進(jìn)行正規(guī)化后，通過加權(quán)平均處理等來合成這些圖像。

通過這種動(dòng)態(tài)范圍擴(kuò)展技術(shù)來生成HDR圖像，需要通過具有不同曝光等級(jí)的多個(gè)攝像操作獲得的多個(gè)待合成圖像。然而，當(dāng)被攝體包括運(yùn)動(dòng)物體時(shí)，待合成圖像具有不同的運(yùn)動(dòng)物體區(qū)域，從而在通過合成待合成圖像而獲得的HDR圖像中出現(xiàn)圖像不連續(xù)問題。

更具體地說，當(dāng)被攝體包括運(yùn)動(dòng)物體時(shí)，通過合成由多個(gè)攝像操作獲得的圖像而得到的HDR圖像遇到與圖像不連續(xù)相關(guān)的如下問題。例如，如圖2所示，當(dāng)假定在曝光過度圖像200中運(yùn)動(dòng)物體區(qū)域201包括過曝高亮區(qū)域202的情況時(shí)，產(chǎn)生以下問題。

1.當(dāng)使用在與過曝高亮區(qū)域202相同的位置的區(qū)域中不包括運(yùn)動(dòng)物體的曝光不足圖像220的圖像元素替換圖像元素時(shí)，在HDR圖像230的運(yùn)動(dòng)物體區(qū)域中生成可見背景的透明區(qū)域231(透明化)。

2.當(dāng)使用在與過曝高亮區(qū)域202相同的位置的區(qū)域中存在運(yùn)動(dòng)物體、但其位置不同的曝光不足圖像220的圖像元素替換圖像元素時(shí)，運(yùn)動(dòng)物體表面的紋理圖案在對(duì)應(yīng)區(qū)域232的邊界處變得不連續(xù)。

3.與圖2中不同，當(dāng)曝光過度圖像在背景區(qū)域中包括過曝高亮區(qū)域時(shí)，并且當(dāng)在曝光不足圖像中在該區(qū)域的遮蔽位置處存在運(yùn)動(dòng)物體時(shí)，通過將過曝高亮區(qū)域的圖像元素替換為曝光不足圖像的圖像元素、就好像存在運(yùn)動(dòng)物體的多個(gè)圖像，來合成圖像(殘像)。

不僅圖像元素替換處理、而且利用半色調(diào)范圍中的多個(gè)圖像的加權(quán)平均的合成處理也會(huì)像進(jìn)行傳統(tǒng)的圖像合成處理時(shí)產(chǎn)生的問題那樣，引起諸如運(yùn)動(dòng)物體周圍的多重邊緣、以及相加的運(yùn)動(dòng)物體區(qū)域中的圖案混合等的圖像不連續(xù)。

為了避免在包括運(yùn)動(dòng)物體時(shí)由HDR圖像生成處理輸出的合成圖像中的圖像不連續(xù)，公開了用于在HDR圖像生成處理中動(dòng)態(tài)控制圖像合成的技術(shù)。

日本特開2002-101347號(hào)公報(bào)公開了以下技術(shù)。即，當(dāng)使用兩個(gè)圖像(即曝光不足圖像和曝光過度圖像)生成HDR圖像時(shí)，基于正規(guī)化圖像的色調(diào)等級(jí)之間的差分來指定可能出現(xiàn)圖像不連續(xù)的區(qū)域，并且在該區(qū)域中禁止替換為曝光不足圖像。

日本特開平10-243288號(hào)公報(bào)公開了以下技術(shù)。即，在利用半色調(diào)范圍中的多個(gè)圖像的加權(quán)平均的合成處理中，進(jìn)行控制，以在合成處理中不使用待合成圖像之間的運(yùn)動(dòng)物體的運(yùn)動(dòng)向量等于或大于閾值的圖像，從而避免了多重邊緣和圖案混合。

然而，上述日本特開2002-101347號(hào)公報(bào)的方法是在假設(shè)用曝光不足圖像替換曝光過度圖像中的、色調(diào)等級(jí)等于或大于閾值的區(qū)域(過曝高亮區(qū)域)的圖像的情況下提出的，并且該方法沒有考慮曝光不足圖像包括陰影細(xì)節(jié)丟失區(qū)域的任何情況。也就是說，上述日本特開2002-101347號(hào)公報(bào)的技術(shù)消除了過曝高亮區(qū)域中的圖像不連續(xù)，但是無法同時(shí)消除過曝高亮區(qū)域、半色調(diào)區(qū)域以及陰影細(xì)節(jié)丟失區(qū)域所有這些區(qū)域中的圖像不連續(xù)。

由于日本特開2002-101347號(hào)公報(bào)的方法僅僅假設(shè)了要合成兩個(gè)曝光不同的圖像的情況，因此該方法不適用于三個(gè)或更多個(gè)圖像的合成。