[發(fā)明專利]用于陣列相機(jī)的動態(tài)校準(zhǔn)的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201580056436.5
• 申請日: 2015-09-29
• 公開（公告）號: CN107077743B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: F·休瑞亞;D·勒勒斯卡;P·查特杰
• 申請（專利權(quán)）人: 快圖有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00;H04N17/00;H04N5/225;H04N5/247
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 宋巖

本發(fā)明公開了用于動態(tài)地校準(zhǔn)陣列相機(jī)的系統(tǒng)和方法，以便適應(yīng)可在其整個(gè)使用壽命中發(fā)生的幾何形狀變化。所述動態(tài)校準(zhǔn)方法可包括獲取場景的一組圖像，并且識別所述圖像內(nèi)的對應(yīng)特征。可使用幾何校準(zhǔn)數(shù)據(jù)來校正所述圖像，并且確定在觀察到對應(yīng)特征的位置處的所述幾何校準(zhǔn)數(shù)據(jù)的殘差向量。然后可使用所述殘差向量來確定所述相機(jī)陣列的更新的幾何校準(zhǔn)數(shù)據(jù)。在若干實(shí)施方案中，使用所述殘差向量來生成更新所述幾何校準(zhǔn)數(shù)據(jù)的殘差向量校準(zhǔn)數(shù)據(jù)場。在許多實(shí)施方案中，使用所述殘差向量，從對于所述相機(jī)陣列的當(dāng)前幾何形狀呈最佳擬合的多個(gè)不同組幾何校準(zhǔn)數(shù)據(jù)之中選擇一組幾何校準(zhǔn)。

技術(shù)領(lǐng)域

本申請整體涉及相機(jī)陣列，并且更具體地講，涉及相機(jī)陣列的動態(tài)校準(zhǔn)。

背景技術(shù)

由于每只眼睛的視野不同，對場景的雙眼觀察會產(chǎn)生場景的兩個(gè)略微不同的圖像。這些差異(稱為雙眼差異(或視差))所提供的信息可用于計(jì)算視景的深度，提供深度感知的主要手段。與立體深度感知相關(guān)的深度印象還可在其他條件下獲得，諸如當(dāng)觀察者在運(yùn)動的同時(shí)僅用一只眼觀察場景時(shí)。可利用所觀察到的視差獲得場景中的對象的深度信息。可使用機(jī)器視覺中類似的原理來搜集深度信息。

隔開一距離的兩個(gè)相機(jī)可拍攝相同場景的圖片，并且可通過移位兩個(gè)或更多個(gè)圖像的像素對所捕獲的圖像進(jìn)行比較以發(fā)現(xiàn)圖像中匹配的部分。在兩個(gè)不同相機(jī)視圖之間對象的移位量稱為差異，其與到對象的距離成反比。可使用檢測多個(gè)圖像中的對象的移位并得到最佳匹配的差異搜索來計(jì)算到對象的距離，所述計(jì)算是基于相機(jī)之間的基線距離和所涉及的相機(jī)的焦距(以及相機(jī)的附加特性的知識)。在大多數(shù)相機(jī)構(gòu)型中，找到兩個(gè)或更多個(gè)圖像之間的對應(yīng)性需要在兩個(gè)維度中搜索。然而，可使用校正來簡化差異搜索。校正是可用于將兩個(gè)或更多個(gè)圖像投影到公共圖像平面上的變換方法。當(dāng)使用校正將一組圖像投影到同一平面上時(shí)，差異搜索變成沿著對極線的一維搜索。

最近，研究人員已使用跨較寬合成孔徑的多個(gè)相機(jī)來捕獲光場圖像(例如，斯坦福多相機(jī)陣列)。光場通常被定義為表征來自場景中所有點(diǎn)處的所有方向的光的4D函數(shù)，可被理解為場景的二維(2D)圖像的二維集合。由于實(shí)際約束，通常難以同時(shí)捕獲形成光場的場景2D圖像的集合。然而，這些相機(jī)各自捕獲圖像數(shù)據(jù)時(shí)的時(shí)間越接近，光強(qiáng)度的變化(例如，熒光燈的另外無法感知的閃爍)或?qū)ο筮\(yùn)動就越不可能導(dǎo)致所捕獲的圖像之間的時(shí)間相關(guān)的變化。可利用涉及光場捕獲和重采樣的方法模擬具有大孔徑的相機(jī)。例如，指向場景的MxN相機(jī)陣列可模擬視野與該陣列一樣大的透鏡的聚焦效果。在許多實(shí)施方案中，相機(jī)不必布置成矩形圖案，并且可具有包括以下的構(gòu)型：圓形構(gòu)型和/或適合具體應(yīng)用的要求的任何任意構(gòu)型。以這種方式使用相機(jī)陣列可稱為合成孔徑成像法。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的各種實(shí)施方案的系統(tǒng)和方法執(zhí)行相機(jī)陣列的動態(tài)校準(zhǔn)。一個(gè)實(shí)施方案包括：使用多個(gè)相機(jī)獲取場景的一組圖像，其中該組圖像包括參考圖像和備選視圖圖像；使用由圖像處理應(yīng)用程序所指令的處理器檢測所述一組圖像中的特征；使用由圖像處理應(yīng)用程序所指令的處理器在所述備選視圖圖像內(nèi)識別與在所述參考圖像內(nèi)檢測到的特征相對應(yīng)的特征；使用由圖像處理應(yīng)用程序所指令的處理器，基于一組幾何校準(zhǔn)數(shù)據(jù)來校正所述一組圖像；使用由圖像處理應(yīng)用程序所指令的處理器，基于被識別為所述參考圖像和所述備選視圖圖像中相對應(yīng)的特征的所觀察到的位置移位，來確定在所述備選視圖圖像內(nèi)觀察到特征的位置處的幾何校準(zhǔn)數(shù)據(jù)的殘差向量；使用由圖像處理應(yīng)用程序所指令的處理器，基于所述殘差向量來確定捕獲了所述備選視圖圖像的相機(jī)的更新的幾何校準(zhǔn)數(shù)據(jù)；以及使用圖像處理應(yīng)用程序所指令的處理器，基于更新的幾何校準(zhǔn)數(shù)據(jù)來校正捕獲了備選視圖圖像的相機(jī)所捕獲的圖像。