[發明專利]拍攝裝置、圖像處理裝置、圖像處理方法

在審

• 申請號: 201610886201.5
• 申請日: 2016-10-11
• 公開（公告）號: CN106973194A
• 公開（公告）日: 2017-07-21
• 發明（設計）人: 島田義尚
• 申請（專利權）人: 奧林巴斯株式會社
• 主分類號: H04N5/217
• 分類號: H04N5/217;H04N5/361;H04N5/357
• 代理公司: 北京三友知識產權代理有限公司11127
• 代理人: 李輝,黃綸偉

技術領域

本發明涉及對按照時間序列拍攝的多幀的圖像數據進行比較亮合成的拍攝裝置、圖像處理裝置、圖像處理方法。

背景技術

近年來，提出有搭載了比較亮合成處理功能的數字照相機等拍攝裝置。這里，比較亮合成處理是比較按照時間序列拍攝的多幀圖像中的同一像素位置的像素值，并由值較大的一方的像素值置換該像素位置的像素值的處理。

該比較亮合成處理在包含比較亮且較小的移動體的拍攝場景中，針對以所需的充分短的固定快門速度(因此，快門速度在各個圖像中相同)按照時間序列拍攝(所謂連續拍攝)而獲得的多幀圖像來使用，能夠取得移動體的軌跡作為S/N高的良好的圖像。

如果列舉適用的拍攝場景的若干個例子，則存在煙花、天體拍攝、夜間的汽車等的頭燈的移動軌跡的拍攝等。

在例如煙花拍攝的情況下，以短于數秒的快門速度按照時間序列拍攝構成煙花的輝點的數秒的流動來取得多幀圖像。此外，在天體拍攝的情況下，以短的快門速度按照時間序列拍攝構成天體的星星的非常慢的運動來取得多幀圖像。而且，在夜間的汽車等的頭燈的移動軌跡的情況下，也同樣以比與想要拍攝的移動軌跡的長度對應的快門速度短的快門速度按照時間序列拍攝來取得多幀圖像。

并且，在任意一個情況下，通過對獲得的多幀圖像進行比較亮合成，都能夠避免如以長時間的快門速度進行拍攝時那樣的由于暗電流造成的畫質劣化，能夠獲得S/N較好的圖像。

但是，將圖像噪聲分為由每個像素的特性引起的固定模式噪聲、和不具有與像素位置的相關的隨機噪聲。它們中的隨機噪聲大致分為：與像素中的根據入射光并通過光電轉換而產生的信號無關地產生的(因此，即使在被遮光的狀態也產生的)暗時隨機噪聲、和根據通過光電轉換而產生的信號產生的(因此，在被遮光的狀態不產生的)亮時隨機噪聲。

這些暗時隨機噪聲與亮時隨機噪聲的大小關系通過照相機的曝光控制，取決于電氣增益。具體來說，在電氣增益的放大量較小的情況(曝光量大，不太需要進行放大的情況)下，由于各個像素中的通過光電轉換而獲得的像素值比較大，因此亮時隨機噪聲增大而成為主導，在電氣增益的放大量較大的情況(曝光量小，需要進行放大的情況)下，由于各個像素中的通過光電轉換而獲得的像素值比較小，因此亮時隨機噪聲變小，暗時隨機噪聲成為主導。

暗時隨機噪聲作為由像素的光電二極管的暗電流引起的噪聲或者作為電路噪聲等而產生，不僅包含在從有效像素得到的像素值中，還包含在從攝像元件的攝像面上的被光學式遮光的光學黑體(OB)區域得到的OB成分中。由于在OB成分中不包含對入射光進行光電轉換而產生的信號，進而也不包含亮時隨機噪聲，所以使用OB成分比起使用從有效像素得到的像素值，能夠更容易高精度地檢測暗時隨機噪聲。

該暗時隨機噪聲的值按照每個幀隨機發生變動。當進行比較亮合成處理時，雖然生成了采用在拍攝獲得的多幀中的最大的像素值而得到的1個比較亮圖像，但是由于包含最大的隨機噪聲的像素值成為最大像素值的概率較高，所以幀數越大越置換為受到較大的隨機噪聲的影響的較大的值。

與此相對，如果針對從OB區域得到的OB成分也能夠與有效像素區域同樣進行比較亮合成處理，則由于采用與幀數的大小相應的大小的像素值，所以通過進行從有效像素區域的比較亮圖像中減去進行了比較亮合成處理后的OB成分的減法處理，能夠有效消除隨機噪聲的影響。

例如，在日本特開2013-240029號公報中記載了以下技術：在從合成圖像中去除偏置成分的數字鉗形(digital clamp)處理中，根據攝影圖像的合成張數來控制數字鉗形量，由此來應對與RAW圖像的如比較亮合成和比較暗合成的圖像合成的合成張數對應的黑電平的變動，從而抑制合成圖像的畫質下降。在該公報中還記載了：根據攝影感光度、白平衡、曝光時間、周邊光量的校正量和環境溫度中的至少1方，來控制數字鉗形量。

但是，在圖像中存在移動被攝體的情況下，產生以下這樣的狀況：即使拍攝了例如100幀的圖像，移動被攝體存在于某個像素位置的僅是50幀的圖像。在移動被攝體比背景亮的情況下，移動被攝體中作為比較亮合成的對象被有效使用的是50幀的圖像，但是在該情況下，移動被攝體和對100幀的圖像進行比較亮合成而得到的背景相比，比較亮圖像的像素值受到隨機噪聲的影響的程度不同。因此，當從合成50幀的圖像而得到的移動被攝體的圖像部分中減去合成100幀的圖像而得到的OB成分(包含暗時隨機噪聲)時，減法量過剩，從而產生減法噪聲。這樣，存在產生相對于移動被攝體的OB減法偏移(黑電平的偏置校正偏移)的課題。