[發明專利]圖像處理設備、圖像處理方法和程序

無效

• 申請號: 201210128446.3
• 申請日: 2012-04-25
• 公開（公告）號: CN102769756A
• 公開（公告）日: 2012-11-07
• 發明（設計）人: 城堅誠;海津俊;光永知生
• 申請（專利權）人: 索尼公司
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N5/235;H04N5/355;H04N5/21
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 李曉冬

技術領域

本公開涉及圖像處理設備、圖像處理方法和程序。特別地，本公開涉及生成寬動態范圍的圖像的圖像處理設備、圖像處理方法和程序。

背景技術

諸如CCD(電荷耦合器件)圖像傳感器或者互補金屬氧化物半導體(CMOS)圖像傳感器之類的在攝像機或數字靜態相機中使用的固體圖像捕獲元件累積與入射光的量相對應的電荷，并且執行光電轉換，該光電轉換輸出與所累積的電荷相對應的電信號。然而，光電轉換元件中累積的電荷量存在上限，并且當多于一定量的光被接收時，所累積的電荷的量達到飽和水平，使得在亮度大于一定值的拍攝對象區域中發生在飽和亮度水平處設定的所謂的突破高亮(blown?out?highlight)。

為了防止這種現象發生，執行以下處理：通過根據外部光的變化等等控制在光電轉換元件中累積電荷的時段來調節曝光時間，并且還將靈敏度調節到最佳值。例如，對于明亮的對象，通過使用較快的快門速度來縮短曝光時間，從而縮短在光電轉換元件中累積電荷的時段，并且在所累積的電荷的量達到飽和水平之前輸出電信號。這種處理使得可以輸出準確地再現對象的灰度級水平的圖像。

然而，在對具有明亮區域和陰暗區域的混合體的對象捕獲圖像時，使用快的快門速度意味著曝光時間對于陰暗部分來說將是不足的，因此信噪比惡化并且圖像質量惡化。為了準確地再現具有明亮區域和陰暗區域的混合體的對象的捕獲圖像中的明亮部分和陰暗部分的亮度水平，必須執行以下處理：對于入射光量為低的圖像傳感器像素增大曝光時間并且實現高的信噪比，并且避免入射光量為高的像素中的飽和。

作為用于實現這種處理的技術，已知一種連續捕獲并且組合具有不同曝光時間的多個圖像的技術。具體地，具有長曝光時間的圖像和具有短曝光時間的圖像被連續分別捕獲。該技術通過執行組合處理來生成單個圖像，該組合處理對于陰暗圖像區域使用長曝光時間并且對于在長曝光時間圖像中突破了高亮的明亮圖像區域使用短曝光時間。以這種方式組合具有不同曝光的多個圖像使得可以產生動態范圍為寬并且沒有突破高亮的圖像，即寬動態范圍圖像(高動態范圍(HDR)圖像)。

例如，日本專利申請公開No.JP-A?2008-99158公開了一種通過組合具有不同曝光量的多個圖像來產生寬動態范圍圖像的配置。將參考圖1來說明該處理。圖像捕獲元件例如在捕獲運動圖像時在視頻速率(30至60fps)內針對兩個不同曝光時間輸出圖像數據。同樣，在捕獲靜態圖像時，也針對兩個不同曝光時間來生成圖像數據并輸出該圖像數據。圖1是說明圖像捕獲元件生成的具有兩個不同曝光時間的圖像(長曝光時間圖像、短曝光時間圖像)的特性的示圖。橫軸是時間(t)，縱軸是構成與固體圖像捕獲元件的一個像素相對應的光電轉換元件的光接收光電二極管(PD)中所累積的電荷(e)。

例如，在光接收光電二極管(PD)的光量很大(即，對應于明亮對象)的情況中，所累積的電荷隨著時間的過去而迅速增大，如圖1所示的高亮度區域11所示。相比之下，在光接收光電二極管(PD)的光量很小(即，對應于陰暗對象)的情況，所累積的電荷隨著時間的過去而緩慢增大，如圖1所示的低亮度區域12所示。

從t0到t3的時間等同于用于獲取長曝光時間圖像的曝光時間TL。低亮度區域12中所示的線示出，在甚至作為長曝光時間TL的時間t3處的累積電荷尚未達到飽和水平(非飽和點Py)，并且可以根據如下的像素灰度水平產生準確的灰度級表現：該像素灰度水平是利用基于累積電荷(Sa)產生的電信號而設定的。

然而，高亮度區域11中所示的線清楚地表明了，所累積的電荷在到達時間t3之前已經達到了飽和水平(飽和點Px)。因此，在高亮度區域11中，從長曝光時間圖像只能產生與飽和水平的電信號相對應的像素值，結果產生突破了的像素。

因此，在高亮度區域11中，在到達時間t3之前，例如在圖1所示的時間t1(電荷清掃起點P1)，所累積的電荷被從光接收光電二極管(PD)清掃一次。電荷清掃不是清除光接收光電二極管(PD)中全部的所累積電荷，而是將其向下清掃至由光電二極管(PD)控制的中間電壓保持水平。在電荷清掃處理之后，光接收光電二極管(PD)被再一次短時間曝光，該短時間被定義為曝光時間TS(從t2到t3)。也就是說，在從短曝光時間起點P2到短曝光時間終點P3(均在圖1中示出)的時段中，進行短時間曝光。通過該短時間曝光而產生所累積電荷(Sb)，并且利用基于所累積電荷(Sb)產生的電信號來設定像素的灰度水平。