[發明專利]單芯片RGB-D相機

在審

• 申請號: 201880090181.8
• 申請日: 2018-12-18
• 公開（公告）號: CN111758047A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: P·拉耶瓦迪;C·郎;B·佰魯茲普爾;K·沃伊切霍夫斯基
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G01S17/02
• 分類號: G01S17/02;G01S7/4863;G01S7/4865;G01S17/894;H01L27/146;H04N13/271;H04N5/33;H04N13/254
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;劉春元

一種3D相機使用用于深度成像的調制的可見光源，并且包括處理器，該處理器可操作來使用相同的光電檢測器在圖像檢測與深度或飛行時間（ToF）檢測之間執行時間復用。相機可以在圖像檢測模式與ToF檢測模式之間交替，以產生持續的彩色圖像和深度圖像的流，彩色圖像和深度圖像的流可以疊加而不需要任何后處理軟件。相機被配置為使用模擬積分模塊確定飛行時間，從而最小化對于模數轉換和數字域中的ToF計算而言必要的電路。

優先權聲明

本申請是根據于2017年12月26日提交的共同待決美國臨時申請第62/610，325號的發明申請提交并要求其優先權，該美國臨時申請的全部公開內容通過引用并入本文。

背景技術

三維（3D）成像和建圖廣泛應用于機器人、計算機視覺、游戲、個人娛樂和許多其它領域中。在大多數這些應用中，使用兩個芯片。首先，由3D飛行時間（time-of- flight，ToF）紅外（IR）圖像傳感器芯片獲取3D數據。然后，3D數據被映射到由傳統的2D彩色成像器芯片獲得的二維（2D）圖像和/或視頻或者與之融合。在以下參考文獻中描述了示例性系統：K.Shin，Z. Wang 和W. Zhan的“3D Object Detection based on Lidar and CameraFusion”（加州大學伯克利分校，可在在線獲得）；以及D. Pani Paudel，C. Demonceaux，A. Habed，P. Vasseur 和I. S. Kweon的“2D-3D Camera Fusion for Visual Odometry in Outdoor Environments”（芝加哥，2014年，IEEE/RSJ國際智能機器人和系統會議（International Conference on Intelligent Robots and Systems，IROS2014）中），其公開內容通過引用并入本文。

利用3D傳感器芯片和單獨的2D成像器芯片增添了軟件復雜性，并增加了數字處理單元的功耗。更進一步地，使用兩個成像器要求在物理實現層中的3D和2D顏色傳感器之間的對準和校準，以使得能夠實現3D和2D數據的后處理或融合。該要求增添了甚至更多的復雜性并增加了制造成本。在其中基于三角測量使用兩個2D成像器（兩個芯片）獲取3D數據的一些情況下，向兩個2D相機的對準和校準增添了相同水平的復雜性和成本。此外，使用兩個2D相機要求甚至更大的處理和更多的功耗開銷，以用于使用三角測量從兩個2D圖像中提取3D信息。