[發明專利]用于陣列相機的動態校準的系統和方法

有效

• 申請號: 201580056436.5
• 申請日: 2015-09-29
• 公開（公告）號: CN107077743B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: F·休瑞亞;D·勒勒斯卡;P·查特杰
• 申請（專利權）人: 快圖有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00;H04N17/00;H04N5/225;H04N5/247
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 宋巖

1.一種動態地生成相機陣列的幾何校準數據的方法，包括：

使用多個相機獲取場景的一組圖像，其中所述一組圖像包括參考圖像和備選視圖圖像；

使用由圖像處理應用程序所指令的處理器檢測所述一組圖像中的特征；

使用由圖像處理應用程序所指令的處理器在所述備選視圖圖像內識別與在所述參考圖像內檢測到的特征相對應的特征；

使用由圖像處理應用程序所指令的處理器，基于一組幾何校準數據來校正所述一組圖像；

使用由圖像處理應用程序所指令的處理器，基于被識別為所述參考圖像和所述備選視圖圖像中相對應的特征的所觀察到的位置移位，來確定在所述備選視圖圖像內觀察到特征的位置處的幾何校準數據的殘差向量；

使用由圖像處理應用程序所指令的處理器，基于所述殘差向量來確定捕獲了所述備選視圖圖像的相機的更新的幾何校準數據，其中確定更新的幾何校準數據包括：

使用至少一個內插方法由所述殘差向量生成殘差向量校準場；

將所述殘差向量校準場映射到一組基向量；以及

使用少于完整組的基向量的線性組合來生成降噪的殘差向量校準場；以及

使用由圖像處理應用程序所指令的處理器，基于所述更新的幾何校準數據來校正捕獲了所述備選視圖圖像的所述相機所捕獲的圖像。

2.根據權利要求1所述的方法，其中確定在所述備選視圖圖像內觀察到特征的位置處的幾何校準數據的殘差向量包括：

基于被識別為所述參考圖像和所述備選視圖圖像中沿著對極線相對應的特征的所觀察到的位置移位的分量，來估計被識別為與在所述參考圖像內檢測到的特征相對應的所述備選視圖圖像內的特征的深度；

基于相對應特征的所估計的深度來確定場景相關幾何校正，以應用于被識別為所述參考圖像和所述備選視圖圖像中相對應的特征的所觀察到的位置移位；以及

將所述場景相關幾何校正應用于被識別為所述參考圖像和所述備選視圖圖像中相對應的特征的所觀察到的位置移位，以獲得在所述備選視圖圖像內觀察到特征的位置處的幾何校準數據的殘差向量。

3.根據權利要求1所述的方法，其中基于所述殘差向量來確定捕獲了所述備選視圖圖像的相機的更新的幾何校準數據，還包括使用外推方法由所述殘差向量生成所述殘差向量校準場。

4.根據權利要求1所述的方法，還包括將所述殘差向量校準場應用到所述一組幾何校準數據，所述一組幾何校準數據是關于捕獲了所述備選視圖圖像的所述相機的。

5.根據權利要求1所述的方法，其中從殘差向量校準場的訓練數據組獲知所述一組基向量。

6.根據權利要求5所述的方法，其中使用主分量分析從殘差向量校準場的訓練數據組獲知所述一組基向量。

7.根據權利要求1所述的方法，其中確定捕獲了所述備選視圖圖像的相機的更新的幾何校準數據，還包括基于至少在所述備選視圖圖像內觀察到特征的位置處的幾何校準數據的所述殘差向量，從多組幾何校準數據之中選擇更新的一組幾何校準數據。

8.根據權利要求1所述的方法，還包括：

使用所述多個相機獲取場景的附加一組圖像；以及

使用所述附加一組圖像確定所述幾何校準數據的殘差向量；

其中基于所述殘差向量來確定捕獲了所述備選視圖圖像的相機的更新的幾何校準數據，還包括利用由所述附加一組圖像所確定的所述幾何校準數據的所述殘差向量。

9.根據權利要求8所述的方法，還包括：

檢測相機的視野內至少一個區域不滿足特征密度閾值；

其中響應于檢測到相機的視野內至少一個區域不滿足所述特征密度閾值，而獲取場景的所述附加一組圖像。

10.根據權利要求9所述的方法，其中利用由所述附加一組圖像所確定的所述殘差向量，還包括利用由所述附加一組圖像所確定的所述殘差向量來確定關于所述相機的所述視野內不滿足所述密度閾值的所述至少一個區域的更新的幾何校準數據。