[發明專利]基于斜平面平滑的雙目立體匹配方法及裝置

在審

• 申請號: 201710167027.3
• 申請日: 2017-03-20
• 公開（公告）號: CN107016698A
• 公開（公告）日: 2017-08-04
• 發明（設計）人: 石洋;肖進勝;匡雨麗
• 申請（專利權）人: 深圳格蘭泰克汽車電子有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/10;G06T7/33
• 代理公司: 北京酷愛智慧知識產權代理有限公司11514
• 代理人: 任媛

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于斜平面平滑的雙目立體匹配方法及裝置。

背景技術

雙目立體視覺就是模擬人的雙眼，用兩個相機從不同的角度拍攝左右圖，通過立體匹配算法獲得視差圖，根據視差圖和深度圖的關系就可以恢復場景中的深度信息。

立體匹配算法是其研究的重點。目前傳統的立體匹配算法主要分成三大類：局部匹配算法、全局匹配算法和半全局匹配算法。

局部匹配算法主要通過比較待匹配點一定范圍內的局部特性進行匹配。優點是計算速度快，但效果好壞很大程度上取決于是否選擇了合適的代價函數以及匹配窗口，對于紋理信息不豐富的區域，如弱紋理區以及無紋理區域，處理效果不好。

全局匹配算法一般采用掃描線或全局考慮整個待匹配圖像信息進行視差求解。雖然全局匹配算法能較好的處理弱紋理、深度不連續區域和遮擋區域。但計算非常耗時，運算量大，不能滿足實時性要求。

半全局匹配算法是從不同方向的一維路徑進行匹配代價的聚合，然后選擇最小代價體，既沒有只考慮像素的局部區域，也沒有考慮所有的像素點，兼具了全局算法和局部算法的優點。雖然半全局匹配算法能得到了較高的匹配精度，并對光照有很強的魯棒性。但是，半全局匹配算法仍存在很多缺陷，如邊緣信息不突出，對深度不連續的區域效果不好，還會出現視差斷裂現象。

如何解決視差斷裂問題，且對遮擋區域、弱紋理區域和深度不連續區域均能夠取得較好的平滑效果，是本領域技術人員亟需解決的問題。

發明內容

針對現有技術中的缺陷，本發明提供了一種基于斜平面平滑的雙目立體匹配方法及裝置，能夠解決視差斷裂問題，且對遮擋區域、弱紋理區域和深度不連續區域均能夠取得較好的平滑效果。

第一方面，本發明提供一種基于斜平面平滑的雙目立體匹配方法，該方法包括：

根據色彩信息、位置信息和能量函數最小化算法對預獲取的圖像進行分割處理，獲取分割塊；

采用半全局立體匹配算法處理圖像，獲取左圖視差圖和右圖視差圖；

對左圖視差圖和右圖視差圖進行左右一致校驗，獲得左圖初始視差圖；

按照分割塊，采用RANSAC平面擬合算法和最小二乘法對左圖初始視差圖進行視差斜平面擬合，獲取初次斜平面擬合視差圖；

根據初次斜平面擬合視差圖和能量函數最小化算法，調整分割塊，確定邊界點，并為邊界點設置邊界點標簽信息；

根據邊界點標簽信息，調整初次斜平面擬合視差圖，形成稠密視差圖。

進一步地，根據色彩信息、位置信息和能量函數最小化算法對圖像進行分割處理，獲取分割塊，具體包括：

將圖像的RGB值轉換為CIE1976L*a*b值；

根據預設的超像素數目，對轉換后的圖像進行均勻分割，獲取分割塊，并根據分割塊的位置信息為分割塊建立索引；

根據分割塊的邊界點的第一特定能量和能量函數最小化算法，調整調整分割塊，第一特定能量包括色彩能量、位置能量和邊界長度能量。

進一步地，對左圖視差圖和右圖視差圖進行左右一致校驗，獲得左圖初始視差圖，具體包括：

根據每個像素點在左圖視差圖中的左圖視差值，和該像素點在右圖視差圖中對應像素點的右圖視差值，以及閾值，判斷該像素點是否為遮擋點或誤匹配點；

若該像素點為遮擋點或誤匹配點，則將該像素點在左圖視差圖中的左圖視差值設置為預定值，形成左圖初始視差圖。

進一步地，按照分割塊，采用RANSAC平面擬合算法和最小二乘法對左圖初始視差圖進行視差斜平面擬合，獲取初次斜平面擬合視差圖，具體包括：

按照調整后的分割塊中像素點，確定該分割塊的視差斜平面；

按照該分割塊的視差斜平面和該分割塊內像素點的左圖視差值，以及約束條件，獲取內點和內點確定的最終斜平面；

根據最小二乘法，對最終斜平面中的內點進行擬合，獲取初次斜平面擬合視差圖。

基于上述任意基于斜平面平滑的雙目立體匹配方法實施例，進一步地，根據初次斜平面擬合視差圖和能量函數最小化算法，調整分割塊，確定邊界點，并為邊界點設置邊界點標簽信息，具體包括：

根據初次斜平面擬合視差圖中各邊界點的第二特定能量，調整分割塊，并確定邊界點，第二特定能量包括色彩能量、位置能量、邊界長度能量和深度能量；

計算各個邊界點的邊界能量，根據邊界能量最小化設置邊界點標簽信息。