[發(fā)明專利]具有重構(gòu)圖像的功能的裝置以及方法

無效

• 申請?zhí)枺?/td>: 201210074765.0
• 申請日: 2012-03-20
• 公開（公告）號: CN102694972A
• 公開（公告）日: 2012-09-26
• 發(fā)明（設(shè)計）人: 長坂知明;中込浩一
• 申請（專利權(quán)）人: 卡西歐計算機株式會社
• 主分類號: H04N5/225
• 分類號: H04N5/225;H04N5/232
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 樊建中

本申請主張以在2011年3月24日所申請的日本專利申請?zhí)卦?011-066698為基礎(chǔ)的優(yōu)先權(quán)，并將該基礎(chǔ)申請的全部內(nèi)容引入本申請。

技術(shù)領(lǐng)域

本發(fā)明涉及重構(gòu)圖像的技術(shù)。

背景技術(shù)

在JP特表2009-532993號公報中公開了取入關(guān)于入射光線的方向分布(direction?distribution)的信息的攝像裝置，即被稱作“全光(plenoptic)相機”的攝像裝置。

在全光相機的光學(xué)系統(tǒng)中，在現(xiàn)有的攝像透鏡(以下，稱為“主透鏡”)和攝像元件之間，插入有縱橫地連續(xù)重復(fù)配置了極小的透鏡(以下，稱為“微透鏡”)的復(fù)眼狀的透鏡陣列(以下，稱為“微透鏡陣列”)。

構(gòu)成微透鏡陣列的各個微透鏡將由主透鏡會聚的光根據(jù)其到達的角度來分配到攝像元件內(nèi)的多個像素。

即，若將通過各個微透鏡的每一個而聚光于攝像元件的像在以下稱作“子圖像(sub?image)”，則由多個子圖像的集合體構(gòu)成的圖像的數(shù)據(jù)作為攝像圖像的數(shù)據(jù)而從攝像元件輸出。

此外，以下，將這樣的全光相機的攝像圖像，即由多個子圖像的集合體構(gòu)成的圖像稱為“光場(light?field)圖像”。

如此，光場圖像通過不僅由經(jīng)由現(xiàn)有的主透鏡、還由經(jīng)由微透鏡陣列而入射的光生成。因此，光場圖像當(dāng)然具有現(xiàn)有的攝像圖像中也含有的二維的空間信息，還具有作為現(xiàn)有的攝像圖像中未包含的信息的、表示從攝像元件來看是從哪一個方向到達的光線的二維的方向信息。

因此，在利用這樣的二維方向信息來拍攝光場圖像后，全光相機能使用該光場圖像的數(shù)據(jù)來重構(gòu)在攝像時從前方離開任意的距離的面的像。

換言之，全光相機即使在規(guī)定距離未對焦而拍攝了光場圖像的情況下，也能在該攝像后通過使用該光場圖像的數(shù)據(jù)，來自由地制作出如在該規(guī)定距離對焦而拍攝的那樣的圖像(以下，稱為“重構(gòu)圖像”)的數(shù)據(jù)。

具體而言，全光相機將位于任意的距離的面上的1點設(shè)定為關(guān)注點，算出來自該關(guān)注點的光經(jīng)由主透鏡以及微透鏡陣列而分配到攝像元件內(nèi)的哪一個像素。

在此，例如，若攝像元件的各像素與構(gòu)成光場圖像的各像素對應(yīng)，則全光相機對構(gòu)成光場圖像的各像素中的、分配來自該關(guān)注點的光的一個以上的像素的像素值進行積分。該積分值成為重構(gòu)圖像中的與關(guān)注點對應(yīng)的像素的像素值。如此，重構(gòu)重構(gòu)圖像中的與關(guān)注點對應(yīng)的像素。

全光相機將構(gòu)成重構(gòu)圖像的各像素(與位于任意距離的面上的各點對應(yīng)的各像素)的每一個依次設(shè)定為關(guān)注點，并重復(fù)上述一系列處理，從而重構(gòu)重構(gòu)圖像的數(shù)據(jù)(重構(gòu)圖像的各像素的像素值的集合體)。

發(fā)明內(nèi)容

本發(fā)明的第1形態(tài)所涉及的圖像處理裝置具備：圖像取得單元，其取得由在光學(xué)系統(tǒng)中具備主透鏡、由微透鏡(復(fù)數(shù))構(gòu)成的微透鏡陣列以及攝像元件的攝像裝置拍攝的光場圖像，所述光場圖像由通過所述微透鏡(復(fù)數(shù))的每一個而生成的子圖像(復(fù)數(shù))構(gòu)成；

子圖像生成單元，其生成基于所述光場圖像中包含的子圖像(復(fù)數(shù))而插值的假想的子圖像(單數(shù))；和

重構(gòu)圖像生成單元，其使用由所述圖像取得單元所取得的所述光場圖像中所包含的子圖像(復(fù)數(shù))、以及由所述子圖像生成單元所生成的所述假想的子圖像(單數(shù))，來生成距所述攝像裝置規(guī)定位置的面的像，作為重構(gòu)圖像。

本發(fā)明的第2形態(tài)所涉及的圖像處理方法，其是針對由在光學(xué)系統(tǒng)中具備主透鏡、由微透鏡(復(fù)數(shù))構(gòu)成的微透鏡陣列以及攝像元件的攝像裝置拍攝的光場圖像，所述光場圖像由通過所述微透鏡(復(fù)數(shù))的每一個而生成的子圖像(復(fù)數(shù))構(gòu)成，由圖像處理裝置執(zhí)行的圖像處理的方法，所述圖像處理方法包括以下步驟：

取得所述光場圖像，

生成基于所述光場圖像中包含的子圖像(復(fù)數(shù))而插值的假想的子圖像(單數(shù))，

使用所述光場圖像中包含的子圖像(復(fù)數(shù))、以及所述假想的子圖像(單數(shù))，來生成距所述攝像裝置規(guī)定位置的面的像，作為重構(gòu)圖像。

附圖說明

若將以下的詳細的描述配合以下的附圖來考慮，則能對本申請得到更深的理解。

圖1是表示本發(fā)明所涉及的圖像處理裝置的一個實施方式的攝像裝置的硬件的構(gòu)成的圖。

圖2是表示攝像裝置所具有的光學(xué)系統(tǒng)的構(gòu)成例的圖。

圖3A是表示比較通過攝像裝置而得到的重構(gòu)圖像、與應(yīng)用現(xiàn)有技術(shù)的情況下而得到的重構(gòu)圖像的圖。

圖3B是放大了光場圖像的一部分的圖。

圖3C是表示3個插值光場圖像的圖。

圖4是表示攝像裝置的功能構(gòu)成的圖。