[發明專利]一種使用時域視覺傳感器的雙目立體深度匹配方法

有效

• 申請號: 201610036310.8
• 申請日: 2016-01-20
• 公開（公告）號: CN105719290B
• 公開（公告）日: 2019-02-05
• 發明（設計）人: 胡燕翔
• 申請（專利權）人: 天津師范大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/80
• 代理公司: 天津市杰盈專利代理有限公司 12207
• 代理人: 朱紅星

本發明公開了一種使用時域視覺傳感器的雙目立體深度匹配方法，并給出具體實現步驟。與目前廣泛使用的基于“幀圖像”的雙目立體深度匹配方法不同，本發明使用一種新型成像器件??時域視覺傳感器進行視覺信息采集，以其輸出事件序列作為算法輸入來進行空間運動目標的立體深度匹配與計算。由于這種成像器件只對拍攝場景中的光強變化進行采樣與輸出，因此具有很高的時間分辨率以及極低的信息冗余。與現有的方法相比，本發明提出的立體深度匹配方法可以顯著地降低計算量，提高算法的實時性與連續性。

技術領域

本發明涉及計算機視覺、數字圖像處理以及圖像傳感器設計等多個技術領域，具體涉及一種使用時域視覺傳感器的雙目立體深度匹配方法。

背景技術

一、雙目立體深度匹配方法

雙目立體視覺系統模擬生物雙眼的視差功能，使用兩臺性能相同、相對位置固定的攝像機，同時從不同的角度獲取同一場景的兩幅圖像，然后計算原空間中任意一點在這兩幅圖像中的(位置)視差，進而通過三角測距原理計算出該點的三維坐標信息。雙目立體視覺是機器視覺的重要分支之一，已應用于工業檢測、追蹤定位、三維重建、機器人導航避障、圖像分割等很多領域。

雙目立體視覺通過以下幾個步驟獲取空間點的立體深度：攝像機標定、圖像獲取、圖像校正、立體深度匹配、計算深度和表面差。其中核心的立體深度匹配是使用圖像匹配算法獲取空間一點在左右圖像中的匹配點對，根據左右匹配點對的視差信息獲得視差圖，為進一步計算深度及其它處理奠定基礎。

附圖1給出雙目視覺立體深度計算的基本原理。經過嚴格配準與標定的兩臺相同像機平行固定，則空間一點P在兩臺相機中的成像原理如左圖所示。圖中O_R和O_T為兩個成像面的焦點，他們之間的連線稱為基線，長度為b；成像焦距為f。空間一點P距基線為Z，其在左右成像面的成像點分別為p和p’(雙目立體視覺系統中的左右相機經過配準及校正后，兩個匹配點p和p’應當具有相同的行坐標和不同的列坐標)。設p點的橫坐標為X_R，p’的橫坐標為X_T。由相似三角形定理可得：

上式變形可得：

上式中d=X_R-X_T為p和p’的橫坐標之差(左右兩個成像面的相同行)。由此只要獲得了坐標差d，就可以獲得空間點到基線的距離Z，然后根據坐標平面的變換可以確定空間點的深度距離。上述尋找空間點P在兩個成像面中的兩個投影點p和p’的過程稱為立體(深度)匹配。

在匹配過程中均以一幅圖像為參考圖像，另外一幅為目標圖像。如果左視圖中一點(x,y)，在右視圖中對應的匹配點為(x’, y’)，這兩個匹配點的坐標差值為d(x,y)。則對于已經校正過的左、右視圖，這兩個匹配點只在橫向掃描線

上存在差異。因此有：

對于參考圖像中的每一像素點(x,y)，均能求出視差d，進而形成與像素坐標一致的視差圖。附圖1右圖為最常見的左右相機平行匹配方法。

已經提出的基于“幀圖像”的立體匹配算法有很多種，大體分為基于區域的匹配與基于特征的匹配。基于區域的匹配通過度量左右圖像中兩個小區域的某種相似度來判斷其是否匹配。而基于特征的匹配則是首先提取參考圖像中的某種特征，例如邊緣、角點等，然后在目標圖像中尋找對應的特征并計算其位置差。在實際雙目相機產品中基于區域的匹配方法得到了廣泛使用。通常匹配算法由四個步驟組成：匹配代價函數計算、代價疊加、視差計算和一致性檢查優化。代價函數表示圖像像素（局部）的相似性測度，一般以能量最小化策略構成，即同一空間點在左右兩幅圖像中的對應成像點（或周圍小區域）之間具有最小的亮度差。常用的代價函數有：SAD(絕對差值之和)、SSD（差平方和）、歸一化SSD、歸一化相關等。以上這些代價函數的基本形式在實際應用中可進行各種變形。