[發明專利]成像裝置、圖像處理方法和計算機程序

無效

• 申請號: 201110368956.3
• 申請日: 2011-11-18
• 公開（公告）號: CN102572235A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 山口禎
• 申請（專利權）人: 索尼公司
• 主分類號: H04N5/225
• 分類號: H04N5/225;H04N5/232;H04N5/217
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 馬景輝

背景技術

本發明涉及一種具有多個成像元件的成像裝置、圖像處理方法和計算機程序，具體地講，涉及一種關聯由成像元件獲得的捕捉圖像的成像裝置、圖像處理方法和計算機程序。

替代于使用膠卷或照相底片捕捉圖像的銀鹽照相機，已廣泛使用以數字方式對由固態成像元件(諸如，CCD(電荷耦合器件)、CMOS(互補金屬氧化物半導體)等)構成的圖像傳感器所捕捉的圖像進行編碼的數字照相機。數字照相機具有這樣的優點：可以把以數字方式編碼的圖像存儲在存儲器上并由計算機在其上執行圖像處理和圖像管理，并且不用擔心膠卷的使用期限。

一些成像元件具有檢測相差信息的功能。可以基于從特定光電轉換單元(光電二極管)輸出的一對圖像信號中的相差來檢測成像透鏡的聚焦狀態。

雖然在許多情況下對成像不熟練的人由于不熟悉操作而劇烈地移動照相機(例如，強烈的手抖動)，但許多數字照相機具有圖像穩定功能。圖像穩定功能包括通過圖像傳感器上的圖像處理實現校正的電子圖像穩定和利用光學透鏡實現校正的機械圖像穩定。

電子圖像穩定是這樣的校正方法：根據圖像穩定的量移動從能夠捕捉的最大像素區域作為捕捉圖像提取的有效像素區域。根據電子圖像穩定，雖然不必安裝特殊機構，但存在這樣的缺點：成像元件的光接收區域未被有效使用。

另一方面，通過把使用陀螺傳感器或加速度傳感器測量的手抖動向量的反饋發送給機械系統并執行高速控制以免在投影到圖像傳感器的圖像中產生抖動，能夠實現機械圖像穩定功能。作為本文描述的機械系統，舉例說明透鏡、棱鏡和成像器(或者與成像器集成的模塊)并且它們分別稱為“透鏡移位”、“棱鏡移位”和“成像器移位”。根據基于透鏡移位方案的圖像穩定，必須嵌入驅動特定透鏡的特殊機構，成本變得更高，因為由于增加的尺寸而難以設計照相機透鏡。另一方面，根據基于成像器移位方案的圖像穩定，可以利用能夠安裝在照相機主體上的所有照相機透鏡執行圖像穩定，并且不必設計特殊照相機透鏡。

近來，許多數字照相機具有多個圖像捕捉單元。例如，已提出了這樣的照相機裝置：具有分路單元，該分路單元把光路分成多個光路，多個成像元件布置在每個光路的圖像形成位置；構造為通過區分成像元件的成像尺寸從每個成像元件輸出具有不同圖像角度大小的圖像的視頻信號；能夠獨立地獲得具有多個圖像角度的圖像的視頻信號(例如，參見日本未審專利申請公開No.2003-304115)。

另外，已提出了這樣的成像裝置，該成像裝置具有：副成像元件，捕捉輔助捕捉圖像(諸如，將要在取景器窗口上作為實時取景顯示的對象圖像)；以及主成像元件，捕捉主捕捉圖像(例如，參見日本未審專利申請公開No.2010-224112)。當捕捉圖像時，用戶能夠在觀看輔助捕捉圖像的同時檢查成幀(framing)等。

希望通過關聯由每個成像單元獲得的捕捉圖像為具有多個成像單元的數字照相機提供新的應用。

主成像元件具有用于捕捉靜止圖像的高像素，而副成像元件具有低像素，因為捕捉輔助圖像主要是為了實時取景(即，移動圖像)。也就是說，難以關聯這兩種捕捉圖像，因為屏幕尺寸、像素數量和像素間距在每個成像元件中是不同的。另外，由于兩種成像元件的像素數量的差異所導致的不同幀速，圖像捕捉定時并不完全一致。因此，如果在捕捉圖像時捕捉圖像的人的手抖動快于獲得圖像的定時，則在一些情況下變得難以在捕捉圖像之間采取行動。

另外，能夠布置前述圖像穩定機械系統的照相機主體中的空間有限，基于成像器移位方案的圖像穩定機構通常僅安裝在主成像元件側。如果僅對成像元件的一側執行圖像穩定，則進一步變得難以在捕捉圖像之間進行關聯。另外，由于校正誤差、成像元件的位移量的計算誤差和位移誤差，即使在兩種成像元件中都安裝圖像穩定機構，也難以在捕捉圖像之間進行關聯。

發明內容

希望提供一種能夠優選地在像素級別關聯并存儲由多個成像元件中的每個成像元件獲得的捕捉圖像的極好的成像裝置、圖像處理方法和計算機程序。

還希望提供一種能夠解決由圖像尺寸、像素數量、像素間距的差異、每個成像元件的圖像捕捉定時不一致、圖像穩定僅應用于成像元件的一部分等導致的捕捉圖像之間的偏差并且優選地在像素級別關聯并記錄每個捕捉圖像的極好的成像裝置、圖像處理方法和計算機程序。