[發明專利]基于主動式雙目立體視覺的測量方法及RGBD相機系統

在審

• 申請號: 201711459683.7
• 申請日: 2017-12-28
• 公開（公告）號: CN107917701A
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 尹煒;孫海洋;劉中原;張建;羅云;吳超;竇仁銀;李嘉俊
• 申請（專利權）人: 人加智能機器人技術（北京）有限公司
• 主分類號: G01C11/02
• 分類號: G01C11/02;G01C11/08
• 代理公司: 北京酷愛智慧知識產權代理有限公司11514
• 代理人: 安娜

技術領域

本發明涉及傳感器技術領域，具體涉及一種基于主動式雙目立體視覺的測量方法及RGBD相機系統。

背景技術

目前，3D傳感器主要包含被動3D測量和主動3D測量兩種。

被動式三維感知技術主要為被動式雙目立體視覺成像技術，該方案需要一對相機同時采集場景圖像，通過復雜的匹配算法對比左右圖像，恢復出視差信息，基于視差信息和三角測量原理，最終得到3D信息。

但是，現有的被動式雙目系統主要存在幾個方面的問題：

第一，運算平臺的復雜性：

目前的雙目立體視覺系統的常見方案分為兩種：其一為雙目相機+高性能PC方式；其二為雙目相機+高性能GPU方式；主要原因在于雙目立體視覺涉及到的匹配算法的復雜度很高，因此需要性能強大的運算單元，成本高，難以小型化，運算單元的動態負載使得實時性有限，很難保證一致的實時性。

第二，環境的適應性：

目前的雙目系統雙目立體匹配部分對于成像場景的要求比較高，由于低光和弱紋理區域不具有豐富的紋理信息，因此該類系統沒有較好的表現。

而主動式三維感知技術還有基于結構光的三維感知技術、飛行時間法(Time of Flight，ToF)三維感知技術。其中，結構光三維感知技術又細分為基于空間編碼結構光的三維感知技術和基于時間編碼結構光的三維感知技術。空間編碼結構光技術通過光學系統向場景發射出具有編碼信息的圖案，通過圖像傳感器采集圖像并對圖像進行解碼，解碼信息將采集圖像和發射信息進行精確匹配從而計算出空間三維結構。時間編碼結構光技術通過光學系統連續發射一系列的具有周期性的條紋圖案，通過圖像傳感器采集序列圖像，對序列條紋圖像求解相位信息，根據唯一性相位信息解算出空間三維結構。飛行時間法通過硬件控制使發光元器件發射出脈沖式或者光強周期性變化的光束，光電轉換設備，如圖像傳感器，采集脈沖式光強信號或者周期性光強信號，通過計算脈沖信號的發射和反射信號的時間差，或者周期性光學信號的相位差來計算空間物體與發射器間的距離，從而構建空間三維結構。

但是，對于空間編碼結構光系統方案，其工作范圍有限：空間編碼結構光系統利用光學投射系統向場景中投射具有編碼信息的紋理圖案，相機采集到圖像后，對圖像進行唯一性解碼，從而得到高精度的三維模型。但是，該系統對于工作距離具有較高的要求，在特定環境對系統進行標定后，該系統只能在一定的空間距離內工作，對于超出有效工作距離的部分，由于不能夠有效解碼，所以無法測得有效的距離。

對于時間編碼結構光方案，存在如下問題：

第一，實時性難以達到：時間編碼結構光方案需要投射多張不同編碼圖案到場景中，并同時解算多幀圖案才能夠得到一幀深度信息。因此該方案難以達到較高的幀率與實時性。

第二，有效工作距離較短：時間編碼結構光只能重構較小的三維空間，因為空間越大，物體離發射器越遠，編碼信息容易畸變，無法準確解碼出有效信息，最終無法準確測量。

對于ToF系統方案，其環境適應性差：該方案是完全依賴于投射的編碼光的飛行時間來求解深度信息，如果環境中和編碼光處在同一波段的光較強，會直接影響到測量的最終精度，因此環境的適應性較差。

另外，在相機所采集的彩色圖像中，每個彩色像素點只包括紅(Red，R)、綠(Green，G)、藍(Blue，B)三種顏色屬性，不包括三維空間的深度信息(Depth，D)，無法將彩色信息和深度信息一一對應，不能實現彩色信息與深度信息匹配輸出。

在弱紋理、暗光環境下，如何實時進行中高精度的三維環境深度感知，實現RGBD相機系統，提高系統實時性，降低時延，是本領域技術人員亟需解決的問題。

發明內容

針對現有技術中的缺陷，本發明提供了一種基于主動式雙目立體視覺的測量方法及RGBD相機系統，能夠在弱紋理、暗光環境下，實時進行中高精度的三維環境深度感知，實現RGBD相機系統，提高系統實時性，降低時延。

第一方面，本發明提供一種基于主動式雙目立體視覺的測量方法，該方法包括：

同時對目標場景中的紅外光和可見光進行成像，分別形成紅外圖像和彩色圖像；

對紅外圖像和彩色圖像進行矯正；

將矯正后的紅外圖像進行立體匹配，生成視差圖；

將視差圖與矯正后的彩色圖像進行配準，確定每個彩色像素點的深度值。

進一步地，對目標場景中的紅外光和可見光進行成像之前，該方法還包括：向目標場景中照射處于紅外波段的紋理圖案。