[發明專利]用于陣列相機的動態校準的系統和方法

有效

• 申請號: 202110338576.9
• 申請日: 2015-09-29
• 公開（公告）號: CN113256730B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: F·休瑞亞;D·勒勒斯卡;P·查特杰
• 申請（專利權）人: 快圖有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00;H04N17/00
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 宋巖

公開了用于陣列相機的動態校準的系統和方法。本發明公開了用于動態地校準陣列相機的系統和方法，以便適應可在其整個使用壽命中發生的幾何形狀變化。所述動態校準方法可包括獲取場景的一組圖像，并且識別所述圖像內的對應特征。可使用幾何校準數據來校正所述圖像，并且確定在觀察到對應特征的位置處的所述幾何校準數據的殘差向量。然后可使用所述殘差向量來確定所述相機陣列的更新的幾何校準數據。在若干實施方案中，使用所述殘差向量來生成更新所述幾何校準數據的殘差向量校準數據場。在許多實施方案中，使用所述殘差向量，從對于所述相機陣列的當前幾何形狀呈最佳擬合的多個不同組幾何校準數據之中選擇一組幾何校準。

本申請是申請號為201580056436.5，申請日為2015年9月29日，題為“用于陣列相機的動態校準的系統和方法”的中國發明專利申請的分案申請。

技術領域

本申請整體涉及相機陣列，并且更具體地講，涉及相機陣列的動態校準。

背景技術

由于每只眼睛的視野不同，對場景的雙眼觀察會產生場景的兩個略微不同的圖像。這些差異(稱為雙眼差異(或視差))所提供的信息可用于計算視景的深度，提供深度感知的主要手段。與立體深度感知相關的深度印象還可在其他條件下獲得，諸如當觀察者在運動的同時僅用一只眼觀察場景時。可利用所觀察到的視差獲得場景中的對象的深度信息。可使用機器視覺中類似的原理來搜集深度信息。

隔開一距離的兩個相機可拍攝相同場景的圖片，并且可通過移位兩個或更多個圖像的像素對所捕獲的圖像進行比較以發現圖像中匹配的部分。在兩個不同相機視圖之間對象的移位量稱為差異，其與到對象的距離成反比。可使用檢測多個圖像中的對象的移位并得到最佳匹配的差異搜索來計算到對象的距離，所述計算是基于相機之間的基線距離和所涉及的相機的焦距(以及相機的附加特性的知識)。在大多數相機構型中，找到兩個或更多個圖像之間的對應性需要在兩個維度中搜索。然而，可使用校正來簡化差異搜索。校正是可用于將兩個或更多個圖像投影到公共圖像平面上的變換方法。當使用校正將一組圖像投影到同一平面上時，差異搜索變成沿著對極線的一維搜索。

最近，研究人員已使用跨較寬合成孔徑的多個相機來捕獲光場圖像(例如，斯坦福多相機陣列)。光場通常被定義為表征來自場景中所有點處的所有方向的光的4D函數，可被理解為場景的二維(2D)圖像的二維集合。由于實際約束，通常難以同時捕獲形成光場的場景2D圖像的集合。然而，這些相機各自捕獲圖像數據時的時間越接近，光強度的變化(例如，熒光燈的另外無法感知的閃爍)或對象運動就越不可能導致所捕獲的圖像之間的時間相關的變化。可利用涉及光場捕獲和重采樣的方法模擬具有大孔徑的相機。例如，指向場景的MxN相機陣列可模擬視野與該陣列一樣大的透鏡的聚焦效果。在許多實施方案中，相機不必布置成矩形圖案，并且可具有包括以下的構型：圓形構型和/或適合具體應用的要求的任何任意構型。以這種方式使用相機陣列可稱為合成孔徑成像法。

發明內容

根據本發明的各種實施方案的系統和方法執行相機陣列的動態校準。一個實施方案包括：使用多個相機獲取場景的一組圖像，其中該組圖像包括參考圖像和備選視圖圖像；使用由圖像處理應用程序所指令的處理器檢測所述一組圖像中的特征；使用由圖像處理應用程序所指令的處理器在所述備選視圖圖像內識別與在所述參考圖像內檢測到的特征相對應的特征；使用由圖像處理應用程序所指令的處理器，基于一組幾何校準數據來校正所述一組圖像；使用由圖像處理應用程序所指令的處理器，基于被識別為所述參考圖像和所述備選視圖圖像中相對應的特征的所觀察到的位置移位，來確定在所述備選視圖圖像內觀察到特征的位置處的幾何校準數據的殘差向量；使用由圖像處理應用程序所指令的處理器，基于所述殘差向量來確定捕獲了所述備選視圖圖像的相機的更新的幾何校準數據；以及使用圖像處理應用程序所指令的處理器，基于更新的幾何校準數據來校正捕獲了備選視圖圖像的相機所捕獲的圖像。