[發明專利]一種結合TOF技術和雙目視覺的深度信息獲取裝置及其方法

有效

• 申請號: 201710050801.2
• 申請日: 2017-01-23
• 公開（公告）號: CN106772431B
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 楊靜;時嶺;高勇
• 申請（專利權）人: 杭州藍芯科技有限公司
• 主分類號: G01S17/89
• 分類號: G01S17/89;G01S17/02;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，該方法在結合TOF技術和雙目視覺的深度信息獲取裝置中實現，所述結合TOF技術和雙目視覺的深度信息獲取裝置包括一個主動光源發射裝置、一個TOF傳感器、左圖像傳感器、右圖像傳感器、控制器以及處理器；所述主動光源發射裝置包括依次布置的光源、空間調制器件以及成像系統，所述主動光源發射裝置的時間調制為正弦波或快速方波序列；主動光源發射裝置和TOF傳感器均與控制器相連，TOF傳感器、左圖像傳感器和右圖像傳感器均與處理器相連；

所述左圖像傳感器和右圖像傳感器采集到的圖像為灰度圖像，其光譜特性主要響應主動光源的窄波段，也能響應部分可見光波段；

該方法包括：

（1）控制器控制光源發射時間調制的光信號，經過空間調制器件調制后由成像系統形成圖案并照射目標測量區域，TOF傳感器接收目標測量區域反射的回波信號，計算光波飛行時間得到各點的深度信息；左圖像傳感器和右圖像傳感器采集環境光及主動光源發射裝置照明下的場景，得到兩個視角下的左、右圖像；

（2）對TOF傳感器、左圖像傳感器和右圖像傳感器進行標定，得到三個傳感器在世界坐標系的對應關系；

（3）根據標定參數，將深度信息映射到兩路圖像坐標中，以深度信息增加約束條件對兩路圖像進行立體匹配，包括以下步驟：

（3.1）深度圖像中，深度大于D的區域，在左右圖像中尋找1-2個對應特征點，計算深度信息作為背景深度；其中，深度大于D的區域分成多個等級，距離在D1-D2之間的區域計算一次深度，距離在D2-D3的區域計算一次深度，依次類推；

（3.2）深度圖像中，對步驟（3.1）之外的區域，計算其梯度，梯度值大于G的區域，在左右圖像中進行高精度立體匹配，計算準確的深度信息；

（3.3）深度圖像中，對步驟（3.1）和步驟（3.2）之外的區域，計算其二階梯度，二階梯度小于G2的區域，在左右圖像中僅對邊界進行立體匹配，計算深度信息，其他部分進行線性插值；

（3.4）深度圖像中，對步驟（3.1）、（3.2）、（3.3）之外的區域，在左右圖像中進行低精度立體匹配，計算深度信息；

（3.5）對左右圖像進行高通濾波，提取圖像中高頻成分，識別小尺寸目標，計算深度信息；

（4）對兩路圖像中由于視角不同所產生的盲區部分以背景深度進行填充；

（5）對兩路圖像交叉范圍之外的無視差區域，以TOF深度信息進行填充，得到場景的深度圖像。

2.根據權利要求1所述的結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，所述左圖像傳感器和右圖像傳感器采集到的圖像為彩色圖像。

3.根據權利要求1所述的結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，所述光源可以是LED或激光模組。

4.根據權利要求1所述的結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，所述空間調制器件為毛玻璃或光柵。

5.根據權利要求1所述的結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，所述成像系統為微透鏡陣列。

6.根據權利要求1所述的結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，所述左圖像傳感器和右圖像傳感器在TOF傳感器兩側對稱布置。

7.根據權利要求1所述的結合TOF技術和雙目視覺的深度信息獲取方法，其特征在于，所述左圖像傳感器和TOF傳感器采用分光方法采集同樣條件下的圖像和深度信息。