[發明專利]一種基于立體匹配的彩色圖像三維重建方法

有效

• 申請號: 201010503987.0
• 申請日: 2010-10-08
• 公開（公告）號: CN101976455A
• 公開（公告）日: 2011-02-16
• 發明（設計）人: 達飛鵬;曹云云
• 申請（專利權）人: 東南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 黃雪蘭

技術領域

本發明屬于雙目立體視覺技術領域，涉及到基于立體匹配處理彩色實拍圖像的問題，尤其涉及到一種使用自適應權重算法來計算匹配代價和基于圖像分割和像素可靠度分類結果的選擇性置信度傳播算法來獲取像素點匹配關系以重建目標物三維點云的方法。

背景技術

雙目立體視覺技術是一種被動式的三維測量方法，其實現方式靈活、對環境要求低、人機交互友好，是三維重建算法中比較流行的一種技術。雙目立體視覺旨在模擬人類雙眼識別場景三維信息的機理，從兩個角度獲取場景的二維圖像，再根據建立圖像之間的匹配關系重建三維模型，主要包括攝像機標定，圖像對匹配，三維信息還原等主要過程。建立兩幅圖像像素點對應關系的過程就是立體匹配的過程，它是雙目立體視覺技術的核心。

立體匹配的主要任務是得到光滑逼真的稠密視差圖，立體匹配算法主要分為局部算法和全局算法，局部算法利用像素點的鄰域信息進行匹配，計算復雜度較低，但匹配精度不高，特別在低紋理、視差不連續區域容易產生錯誤。全局算法將平滑性代價加入匹配代價的計算中，使匹配轉化為能量函數的全局最優過程，主要有圖割算法，置信度傳播算法和動態規劃算法。其中動態規劃算法計算復雜度最低，速度最快，但容易產生條狀瑕疵問題，置信度傳播算法和圖割算法匹配精度較高，計算得到的視差圖在邊緣區域和深度不連續區域的效果較好，相對而言，圖割算法耗時久，實時性能有待改善。

現有的基于雙目立體視覺的三維重建算法存在以下幾個方面的缺點：

(1)構建合適的鄰域窗口是局部算法的關鍵，窗口太小，則無法包含待匹配像素點足夠的鄰域信息，窗口太大，則匹配代價的計算中將包含不具有指導意義的鄰域信息，這些都會導致錯誤匹配的產生。

(2)全局算法中計算復雜度相對較低的動態規劃算法將全局能量優化局限

于一維的掃描線內，丟失了其他方向的光滑性約束，圖割算法耗時較久，很難滿足實拍圖像三維重建的實時性要求，置信度傳播算法不加選擇地在鄰域像素之間傳播置信度，而在視差不連續區域鄰域像素之間可能不滿足視差連續性約束，結果導致重建點云邊界不清晰。

由于存在以上缺點，現有的基于立體匹配的三維重建算法在實際應用中并不能得到令人滿意的結果。

發明內容

本發明的目的是提供一種基于立體匹配的彩色圖像三維重建方法，能夠準確快速自動重建圖像三維點云。

本發明采用的技術方案是：首先采集兩幅彩色實拍圖像，進行攝像機標定，根據標定數據進行對極線校正和圖像變換，通過初始匹配計算匹配代價和初始視差圖，利用匹配代價可信度檢測和左右一致性校驗將初始匹配結果按照可靠度分類，然后對校正后的左圖像進行彩色分割，再以具有選擇性的置信度傳播算法進行全局優化得到最終視差圖，最后利用標定數據和匹配結果重建三維點云并顯示。

本發明的方法具體包括以下幾個步驟：

步驟1：圖像獲取

使用兩臺彩色攝像機同時從相差不大的兩個角度對同一個場景拍攝兩幅圖像，其中左邊的攝像機拍攝的為原始左圖像，右邊的攝像機拍攝的為原始右圖像；

步驟2：攝像機標定

分別對兩臺攝像機進行標定，建立攝像機圖像像素位置與場景位置之間的關系，獲得左邊的攝像機的內參數矩陣A_L、右邊的攝像機的內參數矩陣A_R和左邊的攝像機的外參數矩陣[R_L?t_L]、右邊的攝像機的外參數矩陣[R_R?t_R]；

步驟3：圖像對極線校正

根據步驟2得到的攝像機內外參數運用極線校正方法對所拍攝的左右圖像進行極線校正得到平行式雙目視覺模型，使匹配像素對具有相同的縱坐標，校正后的左圖像和右圖像分別記為I_l和I_r；

步驟4：初始匹配：

步驟4.1：確定候選視差范圍D：

D＝(d_min，d_max)，

其中d_min為最小視差，d_min＝0，d_max為最大視差，通過標記基準圖像和配準圖像之間的匹配像素點對求得：