[發明專利]一種基于簡化獨立成分分析和局部相似性的立體匹配方法

有效

• 申請號: 202010103827.0
• 申請日: 2020-02-20
• 公開（公告）號: CN111368882B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳蘇婷;張婧霖;鄧仲;張闖
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/77;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

本發明公開了一種基于簡化獨立成分分析和局部相似性的立體匹配方法，用于圖像處理技術領域，該方法對DispNetC網絡進行改進，首先提出了簡化獨立成分分析(ICA)代價聚合，引入匹配代價卷金字塔，簡化ICA算法的預處理過程，同時定義簡化ICA損失函數；其次，引入區域損失函數，結合單像素點損失函數，定義局部相似性損失函數，以完善視差圖的空間結構；最后，簡化ICA損失函數和局部相似性損失函數相結合，訓練網絡進行視差圖預測，彌補視差圖的邊緣信息。本發明在保證視差圖預測速度的同時，提高了視差圖邊緣以及細節部分的預測準確率，減少了在預測過程中對單像素點的依賴程度。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種基于簡化獨立成分分析和局部相似性的立體匹配方法。

背景技術

立體匹配是立體視覺研究中的關鍵部分，在車輛的自動駕駛，3D模型重建，物體的檢測與識別等方面有廣泛的應用。立體匹配的目的是求出立體圖像對中左右圖像像素點之間的對應關系，以獲得視差圖。然而，立體匹配面臨著很大的挑戰，遇到遮擋、弱紋理、深度不連續等復雜場景，不易獲取稠密且精細的視差圖。因此，如何準確的從立體圖對中獲取密集視差，具有重大的研究意義。

傳統的立體匹配方法匹配效果的好壞依賴于匹配代價的準確性，計算十分緩慢，十分依賴匹配窗口的合理性，對弱紋理區的處理效果不好，算法實現時收斂速度較慢。在傳統的立體匹配算法中，采用手動的方法提取圖像特征以及代價卷的設計，圖像信息表達不全面，影響了后續步驟的實施，視差圖精度受到影響。

發明內容

發明目的：針對在實際場景中現存的立體匹配網絡在視差圖的邊緣，細節信息以及弱紋理區域的預測準確率較低問題，本發明提出一種基于簡化獨立成分分析(SICA)和局部相似性的立體匹配方法。該方法提高了視差圖邊緣以及細節部分的預測準確率，減少了在預測過程中對單像素點的依賴程度。

技術方案：為實現本發明的目的，本發明所采用的技術方案是：一種基于簡化獨立成分分析和局部相似性的立體匹配方法，包括以下步驟：

步驟一，將雙目相機拍攝的立體圖像對輸入DispNetC網絡的卷積層，提取每個像素的特征，通過計算特征相關性構建初始匹配代價卷，完成初始匹配代價計算；

步驟二，將初始匹配代價卷輸入DispNetC網絡的編碼-解碼結構，進行簡化獨立成分分析匹配代價聚合，定義簡化獨立成分分析損失函數L_SICA，更新像素點的權值；

步驟三，聚合后的匹配代價卷輸入解碼結構的最后一層反卷積層，反卷積的結果即為視差圖，構建局部相似性損失函數L_l，并結合簡化獨立成分分析損失函數L_SICA，得到總損失函數L；

步驟四，利用真實視差圖和預測視差圖以及定義的總損失函數L進行網絡訓練，更新網絡參數，通過訓練完成的網絡預測得到全尺寸視差圖。

進一步地，所述步驟一，實現從特征表達到像素點相似性衡量的轉換，初始匹配代價計算方法如下：

通過DispNetC網絡的卷積層提取立體圖像對的特征，得到兩張圖像各自的特征圖；將特征輸入DispNetC網絡的相關層，獲取其在特征空間內對應位置的關系，獲得初始匹配代價；通過DispNetC網絡的相關層比較兩個特征圖各個塊的關系，即計算各塊之間的相關性，公式如下：

其中c(x₁,x₂)表示特征圖的塊的相關性，f₁和f₂分別表示兩個特征圖，x₁表示特征圖f₁中以x₁為中心的一塊，x₂表示特征圖f₂中以x₂為中心的一塊，k為圖像塊大小，d為圖像位移范圍，即視差搜索范圍；