[發明專利]包括觀察大場景的多個數字照相機的系統

在審

• 申請號: 201580049568.5
• 申請日: 2015-09-15
• 公開（公告）號: CN107003600A
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 德米特里·戈里洛夫斯基;阿列克謝·戈里洛夫斯基
• 申請（專利權）人: 德米特里·戈里洛夫斯基;阿列克謝·戈里洛夫斯基
• 主分類號: G03B37/04
• 分類號: G03B37/04;G06T15/20
• 代理公司: 北京連和連知識產權代理有限公司11278
• 代理人: 張濤

背景技術

1.發明領域

本發明涉及一種包括觀察大場景，諸如城市的一部分的多個數字照相機的系統。所述照相機中的一些觀察那個場景的不同部分，并且在計算機處處理來自照相機的視頻饋送以便生成所述場景的照片般真實的合成3D模型。這使得能夠從任何視角(包括原始真實照相機未占據的角度)觀察所述場景-即，好像從可以定位在任何任意位置中的‘虛擬照相機’觀察。

2.現有技術的說明

現有‘虛擬照相機’解決方案不允許在沒有顯著失真的情況下設置虛擬視角(即，場景的不與真實照相機的實際拍攝角度一致的視角)。或在虛擬照相機的位置改變時，更早的系統不能保持幀中的對象的正確比例?；蚋绲南到y不能實時修正視角。

并且現有解決方案不允許從例如可在自動多照相機計算機視覺系統中使用的任意數量的照相機獲得圖像。多照相機系統中的每個視頻照相機的自動設置-白平衡、精確快門打開速度同步、快門、光圈和幀速率-對于所有這些照相機將非常不同，這使得利用從這些照相機陣列獲得的一組圖像工作或對其進行處理非常困難。

不同于現有建模系統(例如，基于激光雷達的系統)，本發明的實現方式的執行基于常規消費級數字視頻照相機，這顯著地降低解決方案的成本。這些實現方式不利用排放引起不良健康影響并且不與其他主動系統交互。

●US 20140015832描述了一種從拍攝單個場景獲得的一組視頻文件重建3D模型的系統。視頻文件與全局事件(例如，閃光)同步，然后針對每一幀計算每個照相機的單獨位置。假設視頻照相機并未不可移動地固定。然后處理3D模型重建，在3D模型上選擇并映射紋理，并且識別并模擬天氣條件。所述系統主要旨在用于車輛跟蹤。不同于我們描述的系統，這個系統不依賴于永久固定的照相機，單獨地為每一幀進行重建，這使得高分辨率的實時處理是不可能的。

●US6940538描述了一種基于從實時視頻照相機和另外的合成對象獲得的數據的視頻合成系統。所述系統包含為預先定義的模型提供紋理的一個固定視頻照相機。在模型中引入合成對象。視頻從真實照相機的位置和與真實照相機一致并將合成對象反映為場景的一部分的范圍合成。這個解決方案依賴于一個視頻照相機的使用，這不允許拍攝大規模場景或修正合成視頻的觀察位置。

●US 6674461描述了一種利用幾個視頻照相機拍攝場景的方法；所獲得的連續鏡頭映射在合成的虛擬場景上。所描述的方法被設計用于拍攝唯一對象，而不是整個場景，所以它的作者不提供用于修復跨場景的照明差異的解決方案。為實時拍攝設置照相機的問題也沒有解決。并且，不同于我們的系統，所述系統具有僅3個照相機的限制。

●US 20120314089是一種基于時間同步照相機系統的方法。這里使用基于從照相機獲得的圖像的分析的自動校準。不同于我們的系統，這種方法僅依賴于基于時間的同步；不提供用于同步白平衡和曝光設置的解決方案。

●EP1352521描述了一種用于生成對象的最佳圖像的幾個視頻照相機的系統。連同僅覆蓋局部視圖的照相機，這里使用覆蓋整個視圖的廣角視頻照相機。不同于我們的系統，這種方法不提供用于設置同步的任何解決方案，并且廣角照相機的設置不用于控制其他照相機。

●EP2695371描述了一種被設計用于3D照片拍攝的系統，其使用鏡子在一對照相機之間均勻地分布光，這實現了針對那兩個照相機的相同水平的照明。不同于我們的系統，所述方法僅依賴于機械同步(鏡子)，不描述兩個照相機的設置同步的數字系統(例如，一個照相機的設置不傳輸到另一個)。

發明概述

1.一種示出由多個數字照相機觀察到的場景的方法，其包括以下步驟：

(a)所述照相機中的一些觀察那個場景的不同部分；

(b)在計算機處處理來自所述照相機中的一些或全部的一個或多個視頻饋送，以生成場景的照片般真實的3D模型，那個照片般真實的模型在一個或多個顯示器上可視；并且其中計算機被編程為使得

(c)所述3D模型結合不實時改變的靜態元素，并且還有實時或近實時改變的動態元素。

可選特征包括以下任何一個或多個：

●計算機可選擇性地開啟場景的特定部分的動態建模。

●運動檢測算法可確定場景的特定部分是否在改變，并且因此需要動態建模。

●計算機控制多個照相機上的參數或設置，諸如白平衡、快門速度、光圈設置、幀速率、使得3D模型可無縫地展現來自那些多個照相機的視圖。

●在計算機確定是最佳的水平時參數或設置被同步或使得相等。