[發明專利]立體圖像捕獲方法、系統和攝像機

有效

• 申請號: 201080028614.0
• 申請日: 2010-06-21
• 公開（公告）號: CN102461186A
• 公開（公告）日: 2012-05-16
• 發明（設計）人: R.夫盧特斯;F.J.德布魯伊恩;D.N.茲納門斯基
• 申請（專利權）人: 皇家飛利浦電子股份有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 謝建云;劉鵬

技術領域

本發明涉及用于記錄圖像數據的系統、用于記錄圖像數據的方法以及用于記錄圖像數據的攝像機。

背景技術

在3-D圖像顯示器上提供3-D圖像最近備受關注。據認為，3-D成像將是在彩色成像之后在成像方面的下一個重大創新。我們現在處于開始引入3D顯示器用于消費市場的時候。

3-D顯示設備通常具有顯示屏幕，圖像顯示在該顯示屏幕上。基本上，通過使用立體圖像，即指向觀看者的兩只眼睛的兩個略微不同圖像，可以形成三維印象。這種設備的實例是自動立體顯示器。在其它設備中，圖像在所有方向上被發送并且眼鏡被用于阻擋某些圖像以給出3D感知。

無論使用何種類型的3-D顯示器，3-D圖像信息必須被提供到顯示設備。這通常是以包含數字數據的3-D圖像信號的形式完成的。

3-D圖像的生成傳統上是通過添加深度圖完成的，所述深度圖提供關于圖像中像素的深度的信息并且因此提供3D信息。使用用于圖像的深度圖，可以構造提供3D圖像的左和右圖像。

從圖像恢復3D信息是與3-D成像有關的基本任務之一。計算深度圖的最常見方式是使用立體視覺。盡管在立體視覺中已經取得許多進展，在現實世界應用中基本對應問題仍是困難的。特別是，兩個攝像機之間的超精密對準要求阻礙了廉價的消費應用。

已經有一些方法被提出以從單一圖像提取3-D信息。這些方法其中之一為諸如使用“離焦深度(depth?from?defocus)”原理。在這種方法中，可變鏡頭（lens）被用于掃過通過場景的焦平面，并且確定在哪個焦點位置每個對象被最銳利地觀察到。然而，盡管這對于單一圖像可以非常好地起作用，對于其中對象四處移動的視頻圖像，這變得非常困難。使用可變鏡頭而同時記錄具有變化內容的視頻圖像構成了一項艱巨任務，其需要非常快的可變鏡頭以及大量計算能力。另外，如果它不具有這樣的可變鏡頭，該可變鏡頭具有所要求的焦點變化速度和范圍，則它無法在已知攝像機中使用。

另一方法是利用所謂飛行時間（ToF）原理。光被調制并且發送到對象，并且攝像機測量發送和接收的光之間的時間延遲。由于光以固定速度c傳播，利用這種方法可以測量距離。3DV?Systems、Mesa?Imaging和Canesta已經開發出基于ToF技術的攝像機。然而它們通常是昂貴的并且具有有限空間分辨率（例如，對于Canesta傳感器，64x64）。它們也不，或者非常難以應用于已知攝像機。在短的距離，由于飛行時間短，它根本難以測量任何結果。再另外的系統使用單個攝像機，通過利用快門擋住圖像之一而二選一地記錄左和右圖像。

二選一地記錄左和右圖像對于靜態對象正常工作，但是缺點為對于運動對象，左和右圖像不相同，因為在采集圖像之間對象已經移動。左和右圖像之間的對象位置差異于是依賴于對象到鏡頭的距離，但是也依賴于對象的運動。為了獲得距離的準確確定，必須執行準確運動估計加上立體匹配。距離以及運動兩個參數都是先驗未知的，并且也以未知方式隨時間變化。在準確運動估計是有可能之前，需要若干幀。在比如運動重復模式或者以高速運動或具有不規則運動的對象的情形中，準確運動估計是很難或者根本不可能的。

因此需要基于單個攝像機的系統，其有可能以比較簡單方式提供3-D信息并且可以用于現有攝像機，并且對于其而言上述問題減少。

發明內容

為此，本發明的方法、系統和攝像機特征在于，在鏡頭和用于記錄圖像的圖像傳感器前方提供光學設備，該光學設備用于在該傳感器上產生包括同一對象的同時采集的兩個或更多個疊加的圖像的復合圖像，其中復合圖像中公共圖像傳感器上相應對象之間的距離依賴于所述被成像的對象與鏡頭的距離，以及其中復合圖像被分析以確定傳感器上復合圖像中相應對象之間的空間距離。

發明人已經意識到，通過使用一種光學設備，其形成復合圖像，即包含同時采集的左和右（或者從更多方向采集的）圖像的圖像，則有可能確定記錄的對象到鏡頭的距離，并且由此形成所記錄的圖像的深度圖。不需要兩個攝像機，并且因此不出現攝像機準確對準的需求。圖像同時被采集，并且由于在左和右圖像被采集的時間之間對象運動引起的運動對象的偏移相關的問題因而被消除。對復合圖像的分析允許，例如通過去卷積該復合圖像，提取該復合圖像的兩個或更多個同時采集的構成圖像。這允許確定所記錄的復合圖像中單位為像素或cm的相應對象之間的距離。復合圖像中的距離于是可以容易地轉變為到鏡頭的距離，因為它僅僅由此距離確定。

存在許多形成雙重圖像的光學設備，諸如：