[發明專利]立體全景圖像合成裝置、圖像捕獲裝置、立體全景圖像合成方法、記錄介質、以及計算機程序

有效

• 申請號: 201180031312.3
• 申請日: 2011-06-21
• 公開（公告）號: CN102959943A
• 公開（公告）日: 2013-03-06
• 發明（設計）人: 大島宗之
• 申請（專利權）人: 富士膠片株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/225;H04N13/02
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 陳源;李銘

技術領域

本發明涉及立體全景圖像合成裝置、圖像捕獲裝置、以及立體全景圖像合成方法，并且特別是，本發明涉及基于由單目相機捕獲的圖像來合成立體全景圖像的技術。

背景技術

在相關技術中，已知使用被固定至三腳架等并且旋轉的攝像機捕獲圖像序列，結合根據這些捕獲的圖像序列而被切割為狹縫形狀的狹縫圖像并且合成全景圖像的全景圖像合成方法（專利文獻1）。

根據在該專利文獻1中描述的全景圖像合成方法，通過基于兩個連續圖像之間的光學流尺寸確定狹縫圖像寬度，切割狹縫圖像并且合成它們，甚至可以在攝像機的每個速度不恒定的情況下，可靠地再現全景圖像。

而且，專利文獻2披露了可以合成三維空間全景的范圍成像系統。

{引用列表}

{專利文獻}

{PTL?1}日本專利申請公開No.11-164325

{PTL?2}日本專利申請公開No.2002-366948

發明內容

{技術問題}

專利文獻1的摘要披露了結合根據所捕獲的連續圖像而被切割為狹縫形狀的狹縫圖像并且生成用于右眼和左眼的全景圖像，專利文獻1的說明書不包含關于生成用于右眼和左眼圖像的全景圖像的說明。

在專利文獻2中披露的范圍成像系統，調制后的電磁輻射束被照射到景色并且其反射束（即，通過至少三個圖像形成的圖像束）由作為激光雷達的相機捕獲。該范圍成像系統與普通相機不同之處在于照射調制后的電磁輻射束。

本發明的一個目的在于提供一種新立體全景圖像合成裝置、一種圖像捕獲裝置和一種立體全景圖像合成方法，其可以根據通過搖動（panning）單目圖像捕獲裝置捕獲的多個圖像來合成立體全景圖像。

{問題的解決方案}

為了實現以上目的，根據第一方面的立體全景圖像合成裝置包括：圖像獲取單元，其獲取在搖動具有單個成像光學系統和成像元件的圖像捕獲裝置的同時以預定幀速率連續捕獲的多個圖像；圖像選擇單元，其從所獲取的多個圖像選擇用于全景圖像合成的圖像，并且選擇其中圖像之間的光學流的平移矢量的水平分量處在預先設置的預定范圍內的圖像；重疊區域檢測單元，其檢測所選擇的圖像中的時間相鄰圖像之間的重疊區域；修剪單元，其切出檢測到的重疊區域的圖像；存儲單元，其將重疊區域的被切出圖像存儲為左圖像和右圖像；以及全景圖像合成單元，其基于所存儲的左圖像的圖像組和所存儲的右圖像的圖像組，來合成左全景圖像和右全景圖像。

在通過搖動具有單個成像光學系統和成像元件的圖像捕獲裝置（單目圖像捕獲裝置）捕獲的多個圖像當中，時間相鄰圖像之間的重疊區域的圖像對應于左視點圖像和右視點圖像。從而，在根據第一方面的立體全景圖像合成裝置中，可以切出重疊區域的圖像，使用它們作為左圖像的圖像組和右圖像的圖像組，根據左圖像的圖像組合成左圖像的全景圖像，并且根據右圖像的圖像組合成右圖像的全景圖像。

而且，在合成的立體全景圖像中，優選相同距離處的特定對象的立體效果不由成像方向改變。從而，在根據第一方面的立體全景圖像合成裝置中，選擇其中時間相鄰圖像之間的光學流的平移矢量的水平分量處在預先設置的預定范圍內的圖像。

根據第二方面，根據第一方面的立體全景圖像合成裝置進一步包括：相應點檢測單元，其將所獲取的多個圖像當中的預定圖像設置為基準圖像，并且檢測在基準圖像和在與基準圖像的時間不同的時間捕獲的一個或多個不同圖像之間具有相同特征的相應點；以及光學流計算單元，其基于由相應點檢測單元檢測的相應點來計算光學流，其中，圖像選擇單元選擇其中所計算的光學流的平移矢量的水平分量處在預先設置的預定范圍內的圖像，并且將不同的被選擇圖像設置為下一個基準圖像。

根據第三方面，在根據第一或第二方面的立體全景圖像合成裝置中，全景圖像合成單元根據圖像之間的光學流的平移矢量的水平分量，來將所存儲的左圖像的圖像組的每個圖像修剪為狹縫形狀，并且基于光學流的平移矢量來合成修剪后的狹縫形狀圖像，以生成左全景圖像，以及根據圖像之間的光學流的平移矢量的水平分量，來將所存儲的右圖像的圖像組的每個圖像修剪為狹縫形狀，并且基于光學流的平移矢量來合成修剪后的狹縫形狀圖像，以生成右全景圖像。