[發明專利]一種基于弱標定多目相機的立體匹配方法、裝置及系統

有效

• 申請號: 201710659378.6
• 申請日: 2017-08-03
• 公開（公告）號: CN107424196B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 黃保黔
• 申請（專利權）人: 江蘇鉅芯集成電路技術股份有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/33;G06T5/00
• 代理公司: 無錫市大為專利商標事務所(普通合伙) 32104
• 代理人: 曹祖良

本發明公開了一種基于弱標定多目相機的立體匹配方法，其中，包括：對第一圖像和第二圖形進行畸變矯正得到第一畸變矯正圖和第二畸變矯正圖；對第一畸變矯正圖和第二畸變矯正圖極線矯正得到第一矯正圖和第二矯正圖；檢測第一矯正圖和所述第二矯正圖中的所有垂直邊緣；檢測每條垂直邊緣上的角點；將每條垂直邊緣以及該條垂直邊緣上的角點組合成一個匹配單元；將第一矯正圖中的每個匹配單元與第二矯正圖中的匹配單元進行匹配；將第二矯正圖進行平移、旋轉或者縮放；計算目標圖像的視差。本發明還公開了一種基于弱標定多目相機的立體匹配裝置及系統。本發明提供的一種基于弱標定多目相機的立體匹配方法能夠實現對目標圖像的快速高精度識別。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種基于弱標定多目相機的立體匹配方法、一種基于弱標定多目相機的立體匹配裝置及包括該基于弱標定多目相機的立體匹配裝置的基于弱標定多目相機的立體匹配系統。

背景技術

人類視覺不僅可以分辨出顏色、外形等特征，還能通過雙目所看到的不同圖像的差別，分辨出物體的深度信息。雙目視覺是機器視覺的一個重要形式，它是基于視差原理并利用不同位置的兩臺攝像裝置拍攝同一場景，通過計算空間點在兩幅圖像中的視差，來獲取物體的三維幾何信息的方法。融合兩只眼獲得的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應關系，將同一空間物理點在不同圖像中的映像點對應起來。

根據雙目視覺原理，一旦獲取了空間點的視差，如果能夠在圖像坐標系中確定兩個匹配點，并知道其各自的圖像坐標，那么就可以獲得空間點的深度信息。

因此，實現深度信息獲取的關鍵是獲得空間點在兩個圖像平面內的一個匹配對，而立體匹配問題則是實現深度獲取的關鍵。

雙目立體匹配問題是一個″病態″問題，雙目立體匹配實施要考慮諸多因素，并以計算復雜度和穩定性等總體性能指標來衡量方案實施的可行性和有效性。

立體匹配的算法很多，主要有區域匹配算法、特征匹配算法、基于全局約束算法、圖割算法和基于人工智能的算法。

區域匹配算法通過固定尺寸窗口進行代價聚集，運算速度快，但在低紋理和深度不連續區域匹配效果差；特征匹配算法只能得到稀疏的視差場，要獲得密集的視差場必須通過復雜的差值過程，往往適用于具有特征信息顯著的環境中；基于全局約束算法雖然能夠通過構建復雜的能量函數模型得到高精度的匹配結果，但計算速度慢，并且對計算機的內存需求較大；圖割算法雖然能獲得密集的結果，但是容易產生較大的匹配誤差。

圖1為視差和深度的關系圖，由于三角形AABBCC與三角形CCDDEE相似，可得：(xr-xl)/F＝B/z，所以：z＝BF/(xl-xr)，其中xl-xr為視差，B為兩個攝像機的基線的距離，F為相機的焦距。

對于第一圖像中任意一個點，都要到第二圖像中匹配一個點，假設圖像的寬高為(W和H)有圖的搜索范圍為(H*V)，則計算量為W*H*H*V。

通常取值如下：W＝1280；H＝730；H(水平)＝100；V＝5，因此計算量會非常大。

對于不具有典型性的應用環境，運算量和識別精度是一對天然的矛盾，沒有算法能夠同時在兩個方面得到優化。

而且，立體匹配技術被普遍認為是立體視覺中最困難也是最關鍵的問題，主要是受以下因素的影響：

(1)光學失真和噪聲(亮度、色調、飽和度等失衡)

(2)平滑表面的鏡面反射

(3)投影縮減(Foreshortening)

(4)透視失真(Perspective distortions)

(5)低紋理(Low texture)

(6)重復紋理(Repetitive/ambiguous patterns)