[發明專利]對物體三維重建初始對應分配有效數據處理的方法和設備

在審

• 申請號: 201910840302.2
• 申請日: 2019-09-06
• 公開（公告）號: CN110889884A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: M·格羅斯;M·謝弗;S·威勒克;B·哈倫特
• 申請（專利權）人: 康耐視公司
• 主分類號: G06T15/00
• 分類號: G06T15/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 趙學超

本申請描述的技術涉及對例如物體的三維重建的初始對應分配的數據進行有效處理的方法、裝置和計算機可讀介質。在一些方面，該系統包括處理器，該處理器被配置為執行以下動作：接收場景的第一組圖像和第二組圖像；基于第一組圖像確定第一像素指紋和基于第二組圖像確定第二像素指紋；基于第一像素指紋生成第一二進制像素指紋，基于第二像素指紋生成第二二進制像素指紋；以及至少部分地基于第一二進制像素指紋和第二二進制像素指紋的比較，確定第一像素指紋與第二像素指紋之間是否存在立體對應關系。

技術領域

本文描述的技術一般涉及對物體或場景的二維圖像進行三維(3D)重建，尤其涉及對二維圖像對之間的初始對應分配數據進行有效處理的技術。

背景技術

越來越多的先進機器視覺系統及其底層軟件被用于各種制造和質量控制過程。機器視覺允許在批量生產和定制產品的生產中獲得更快、更準確以及可重復的結果。典型的機器視覺系統包括一個或多個相機，其指向感興趣區域；照明源，其用于引導感興趣區域上的適當照明；幀抓取器/圖像處理元件，其用于捕獲和發送圖像；計算機或機載處理設備，其用于運行機器視覺軟件應用程序和操縱所捕獲的圖像；以及用于交互的用戶界面。

一種3D視覺系統，其基于立體相機，該立體相機采用至少兩個以并排關系布置的相機，且兩個相機之間的基線為一英寸至數英寸。基于立體視覺的系統通常基于對極幾何和圖像校正。他們可以使用基于相關的方法或與放松技術(relaxation technique)結合來找到來自兩個或更多個相機的校正圖像中的對應關系。然而，由于所需的計算工作，傳統的立體視覺系統在對物體和/或場景的準確且快速的三維數據重建的創建能力方面受到限制。

發明內容

根據所公開的主題，提供了用于有效地處理(例如，從二維圖像對中對物體或場景進行三維重建的)二維圖像對之間的初始對應分配數據的裝置、系統和方法。發明人已經認識到，雖然傳統系統可以將某種歸一化(normalized)的互相關應用于二維圖像對以確定立體對應關系，但是這些系統通常必須花費大量的計算工作來執行必要的計算(例如，由于需要處理的像素值的數量、那些像素值的大小等)。發明人已經開發了如本文將進一步討論的技術，其通過有效地處理二維圖像對(特別是對于立體時間圖像序列對)的初始對應分配來改進三維數據重建技術。立體時間圖像序列包括隨時間自不同視角捕獲的物體或場景的圖像集合。發明人注意到所描述的系統和方法在為立體時間圖像序列中的每個像素指紋導出二進制像素指紋時特別新穎。

在一些方面，所描述的系統和方法提供用于在兩個圖像之間建立立體對應關系的系統。該系統可以包括兩個或更多個相機(或傳感器)，其布置成以一致的方式捕獲場景的圖像，例如，通過將兩個或更多個相機設置為以不同的視角捕獲場景，以產生立體圖像對應關系。可選地，該系統可以包括一個或多個相機(或傳感器)，其具有一個或多個逆相機(inverse camera)(或投射器(projector))，其布置成以一致的方式捕獲場景的圖像以產生成對的立體圖像對應關系。可以使用一個或多個投射器在場景上投射一系列光圖案，并且可以從每個相機捕獲一組圖像。從每個相機捕獲的圖像集可以被稱為時間圖像。該組圖像中的每個圖像可以對應于一系列投射光圖案中的其中一個。

隨后，可以為每個相機確定時間圖像和二進制時間圖像。時間圖像中位置(i,j)處的像素指紋可包括在位置(i,j)處和/或從每個相機捕獲的圖像集合相對于位置(i,j)在空間和/或時間中的不同位置處收集的有序像素值集合。在一些實施例中，時間圖像中位置(i,j)處的像素指紋可包括在位置(i,j)處收集的有序像素值集合。附加地或可選地，在一些實施例中，時間圖像中位置(i,j)處的像素指紋可包括從每個相機捕獲的圖像集合相對于位置(i,j)在空間中的不同位置處收集的有序像素值集合。附加地或可選地，在一些實施例中，時間圖像中位置(i,j)處的像素指紋可包括從每個相機捕獲的圖像集合相對于位置(i,j)在時間中的不同時間處收集的有序像素值集合。附加地或可選地，在一些實施例中，時間圖像中位置(i,j)處的像素指紋可包括從每個相機捕獲的圖像集合相對于位置(i,j)在空間和時間中的不同位置處收集的有序像素值集合。