[發(fā)明專利]包括相機的相機系統(tǒng)、相機、操作相機的方法以及用于對記錄的圖像去卷積的方法

有效

• 申請?zhí)枺?/td>: 201280014324.X
• 申請日: 2012-03-13
• 公開（公告）號: CN103430058B
• 公開（公告）日: 2017-08-08
• 發(fā)明（設計）人: D.N.滋納門斯基;R.拉賈戈帕蘭;R.A.M.希克梅特
• 申請（專利權）人: 皇家飛利浦有限公司
• 主分類號: G02B5/02
• 分類號: G02B5/02;H04N5/232
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 李舒,汪揚

技術領域

本發(fā)明涉及一種包括具有透鏡和圖像傳感器的相機的相機系統(tǒng)。

本發(fā)明還涉及一種具有透鏡和圖像傳感器的相機。

本發(fā)明還涉及一種操作包括透鏡和圖像傳感器的相機的方法。

本發(fā)明還涉及一種用于對通過包括透鏡和圖像傳感器的相機所記錄的圖像數(shù)據(jù)進行去卷積的方法。

背景技術

諸如CMOS和CCD傳感器這樣的常規(guī)圖像傳感器對在曝光時間期間沖擊它們的所有光進行整合。這提供了靜態(tài)對象的清晰圖像，但導致針對當快門打開時移動的對象的空間模糊。沒有交點對準（即未被定位于焦平面中）的對象也是模糊的。所謂的運動模糊與曝光時間和對象速度成比例。當相機在低光水平條件下操作時，運動模糊是特別麻煩的。在這樣的情況下，長曝光時間被期望獲得足夠高的信噪水平使得場景的暗區(qū)域能夠被充分地成像。因此，許多相機遭受運動模糊與動態(tài)范圍之間的經(jīng)典權衡。曝光時間需要是長的以便捕獲足夠的光，但需要是小的以便減少運動模糊。在本發(fā)明的框架內(nèi)，詞相機包括用于拍攝相片的相機以及用于視頻目的的相機。

用來減少未被定位于焦平面中的對象的模糊的相機和方法從Nagahara等人的文章“Flexible Depth of Field Photography”, H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008中得知。

在Nagahara等人的文章中，示出了用于拍攝相片的相機，其中傳感器與固定焦點透鏡之間的距離是變化的。傳感器在曝光時間期間被掃過一定距離。掃描（sweeping）距離被布置來掃描一系列場景深度范圍以便提高景深。在Nagahara等人的文章中公開的現(xiàn)有技術相機減少了失焦模糊。為了減少失焦模糊，傳感器被沿著光軸掃描以便覆蓋特定深度范圍。這個構思也被稱作“掃描焦點相機”。

焦點的掃描為合成圖像作準備，所述合成圖像實際上是在各種焦點深度處的許多圖像的組合。表征由掃描通過各個焦點位置所引起的模糊的點擴展函數(shù)(PSF)能夠被計算。點擴展函數(shù)實際上是對象的點將在傳感器上形成的圖像。對于完全焦點對準的對象，點擴展將為零，并且因此PSF將是狄拉克(Dirac)函數(shù)。這個函數(shù)的傅里葉變換對于所有頻率來說將是恒定的。對于沒有焦點對準的點，PSF是展開（spread-out）函數(shù)，對于當相機是固定的時的運動中的對象來說，PSF將由于運動而被展開在一定距離上。根據(jù)PSF，一個人能夠計算逆點擴展函數(shù)(IPSF)。用逆點擴展函數(shù)對合成圖像去卷積使清晰圖像得以被獲得并且增加的景深被獲得。這歸因于當傳感器被掃描時針對在各個距離處的靜態(tài)對象的PSF在很大程度上變得相同的事實。因此，用同一個IPSF對原始圖像去卷積將提供在所有距離或至少增加范圍的距離處的清晰圖像，并且增加的景深針對靜態(tài)對象被獲得。

盡管失焦模糊及其減少可能是重要的，但是如上面所解釋的主要問題針對移動對象而存在并且保持（即，運動模糊），尤其是對于較大的曝光時間來說。

運動模糊能夠借助于視頻處理而被反轉。這個通過沿著運動軌跡的運動估計和逆濾波被實現(xiàn)。這個是例如從US 6930676得知的。然而，實際上，這樣的程序的結果遭受不準確的運動矢量，特別是對于封閉區(qū)域而言。一個人必須知道運動軌跡并且根據(jù)它們推導出運動矢量以便能夠進行逆濾波。在專業(yè)應用中使用的許多獨立相機中，運動矢量可能根本不是可得到的。例如，用于監(jiān)視或活動監(jiān)控的許多相機的記錄僅將輸入提供給基于計算機視覺的分析程序(例如，可疑對象的自動檢測、對老齡人的跌倒檢測等)。在這些場景中，原始輸入幀的質量是針對檢測系統(tǒng)的性能的決定因數(shù)。足夠準確的運動矢量在相機內(nèi)可能不是動態(tài)可得到的，并且記錄的視頻的后處理不是實時監(jiān)控系統(tǒng)中的選項。對于拍攝單個快照的相機來說，準確地確定運動矢量從根本上是不可能的。如果有可能的話，在封閉區(qū)域處運動的估計也是極其困難和不準確的。在低光條件下，問題由于缺少光而增加。除去運動模糊的另一方法是讓相機跟隨移動對象。然而，這同樣具有大量的明顯缺點。盡管移動對象不是模糊的，但是其它一切都是。此外，一個人必須知道對象的方向以及速度以便完成這樣的事實。這個方法因此僅在其中能夠做出移動的速度和方向的相當準確的確定的情形下是可能的，例如在一級方程式賽車或跳臺滑雪情況下，其中運動的方向被提前相當準確地知道，以及速度的相對準確的估計可以被提前作出。