[發(fā)明專利]用于檢測可見光和紅外投影圖案的成像器

有效

• 申請?zhí)枺?/td>: 202010315817.3
• 申請日: 2016-03-30
• 公開（公告）號: CN111669566B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: K.科諾里奇
• 申請（專利權）人: X開發(fā)有限責任公司
• 主分類號: H04N13/239
• 分類號: H04N13/239;H04N13/254;H04N13/271;B25J9/16;G01B11/02;G01B11/24;G01B11/25;G05D1/02;G06V20/64;G06T1/00;G06T7/521;G06T7/593
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

提供了用于深度感測的方法和系統(tǒng)。一種系統(tǒng)包括第一和第二光學傳感器，每個光學傳感器包括被配置為捕獲可見光的第一多個光電檢測器，所述第一多個光電檢測器穿插有被配置為捕獲特定紅外波段內(nèi)的紅外光的第二多個光電檢測器。該系統(tǒng)還包括計算設備，該計算設備被配置為：(i)識別在第一光學傳感器所捕獲的第一可見光圖像和第二光學傳感器所捕獲的第二可見光圖像之間的環(huán)境的第一對應特征；(ii)識別在第一光學傳感器所捕獲的第一紅外光圖像和第二光學傳感器所捕獲的第二紅外光圖像之間的環(huán)境的第二對應特征；以及(iii)基于第一對應特征和第二對應特征來確定對環(huán)境中至少一個表面的深度估計。

本申請是申請日為2016年3月30日、申請?zhí)枮?01680031541.8、發(fā)明名稱為“用于檢測可見光和投影圖案的成像器”的發(fā)明專利申請的分案申請。

相關專利申請的交叉引用

本申請要求于2015年3月30日提交且題目為“Imager for Detecting VisualLight and Projected Patterns”的美國專利申請第14/672,369號的優(yōu)先權，通過引用將該申請的全部內(nèi)容并入本文。

技術領域

本發(fā)明構思設計一種用于檢測可見光和投影圖案的成像器。

背景技術

機器人系統(tǒng)(諸如包含夾持部件的機器人操作臂)可以被用于涉及拾取或移動物體的應用。例如，機器人設備可以被用來用物體填充集裝箱、創(chuàng)建物體的堆疊、或從卡車廂卸載物體。在一些情況下，所有這些物體可以是相同的類型。在其他情況下，集裝箱或卡車可以包含不同類型的物體(諸如箱裝物品、罐、輪胎或其他可堆疊物體)的混合。這樣的機器人系統(tǒng)可以基于物體在環(huán)境中什么地方的預先確定的知識來引導機器人操作臂拾取物體。

在一些示例中，機器人系統(tǒng)可以使用計算機視覺技術來確定三維(three-dimensional，3D)場景幾何結構的表示。通過舉例的方式，機器人系統(tǒng)可以三角測量從場景中觀察到的信息以確定到場景中的一個或多個表面的深度。深度感測的一種方法是使用立體圖像處理。根據(jù)這種方法，使用具有已知彼此的物理關系的兩個光學傳感器來捕獲場景的兩個圖像。通過找到兩個圖像內(nèi)對應像素值的映射并計算這些共同區(qū)域在像素空間中距離多遠，計算設備就能夠使用三角測量來確定深度圖或圖像。深度圖或深度圖像可以包含與場景中的物體的表面的距離相關的信息。

可以采用使用結構化光處理的深度感測的另一種方法。結構化光感測的主要思想是將已知的照明圖案投影到場景上，并且捕獲包括投影圖案的場景的圖像。例如，如圖1中所示，投影儀102可以將已知的紋理圖案投影到物體104上，并且光學傳感器106(例如，相機)可以捕獲物體104的圖像108。然后計算設備可以確定圖像中的區(qū)域和投影圖案的特定部分之間的對應性。給定投影儀102的位置、光學傳感器106的位置和與圖像108內(nèi)的圖案的特定部分相對應的區(qū)域的位置，計算設備就可以使用三角測量來估計到物體104的表面的深度。

通常，投影儀102和光學傳感器106沿基線水平地移開，并且投影儀102和光學傳感器106被校準。校準過程可以將光學傳感器106中的像素映射到投影儀102中的像素的一維曲線。如果傳感器圖像和投影儀圖像被糾正，則該曲線可以采取水平線的形式。在這種情況下，搜索與投影紋理圖案的匹配可以沿此線來進行，使得該過程更加有效。

發(fā)明內(nèi)容

使用能夠感測投影圖案和可見光兩者的成像器能夠改善具有明亮和昏暗部分的環(huán)境中的深度感測。如本文所述，一對成像器可以捕獲投影圖案的一個或多個紅外光圖像和環(huán)境的一對可見光圖像。計算設備可以使用結構化光處理從紅外光圖像中的至少一個確定對場景中的表面的第一深度估計。該計算設備還可以使用立體圖像處理從一對立體圖像確定對場景中的表面的第二深度估計。然后該計算設備可以組合第一和第二深度估計來確定對環(huán)境中的一個或多個表面的組合深度估計。