[發明專利]一種基于神經網絡的雙目立體視覺匹配方法及其運算框架

在審

• 申請號: 201910907166.4
• 申請日: 2019-09-24
• 公開（公告）號: CN110738241A
• 公開（公告）日: 2020-01-31
• 發明（設計）人: 陳剛;孟海濤;黃凱
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 44102 廣州粵高專利商標代理有限公司
• 代理人: 陳偉斌

本發明涉及一種基于神經網絡的雙目立體視覺匹配方法及其運算框架，匹配方法包括如下步驟，構建神經網絡運算框架、構建二值神經網絡并進行訓練；初始化神經網絡運算框架；步驟三：將左圖像和右圖像輸入二值神經網絡進行圖像特征提取，得到一串二值序列作為圖像像素點的特征描述；使用二值神經網絡代理卷積神經網絡用于圖像的特征提取，并設計專門針對二值神經網絡的神經網絡訓練方式和運算的運算框架，使得雙目立體視覺的匹配不僅有更高的精度，同時有更快的運算速度。

技術領域

本發明涉及雙目立體視覺匹配算法領域，更具體地，涉及一種基于神經網絡的雙目立體視覺匹配方法及其運算框架。

背景技術

雙目立體視覺是一種使用仿生學原理設計的被動測距傳感方法，它可以在捕捉到兩張圖片的同時，通過算法計算得到一張像素點級別的包含深度信息的圖片，為計算機視覺的應用提供了更多的可能性。

雙目立體視覺在場景重建、事件檢測、視頻跟蹤、目標識別、姿態估計、運動估計等等領域應用越來越多。它以其成本低、結構簡單、精度高等優點，廣泛應用于工業生產非接觸式測距、智能機器人導航、無人駕駛汽車、醫學診斷、安防監控和無人機等，存在巨大的商業價值和軍事價值。

在雙目立體視覺匹配中，一般來說算法都分為4個步驟：1、匹配代價計算；2、代價聚合；3、視差計算；4、后處理。而目前的雙目立體視覺匹配的方法也主要分為三種：局部匹配算法、全局匹配算法、半全局匹配算法。局部匹配算法包括采用匹配窗的代價聚合算法、采用特征點的匹配的算法、采用相位匹配的匹配算法等等。這些算法的優點是運算速度快，能夠快速恢復出紋理豐富區域的視差。缺點是低紋理區域會造成誤匹配，得到的視差圖不致密，需要后期運用插值算法進行修正。全局匹配算法主要包括圖割法、人工智能算法、置信傳播法等等。這些算法運算時間長并會產生一些誤匹配，但基本能從所有的視差信息中獲得稠密的視察圖。半全局匹配算法是介于局部匹配算法和全局匹配算法之間的一種算法，半全局匹配算法既沒有只考慮像素的局部區域，也沒有將全部像素都納入考慮，是一種均衡速度與精度的方法。

發明內容

本發明為克服上述現有技術中雙目立體視覺的匹配算法無法實現快速高精度匹配的問題，提供一種基于神經網絡的雙目立體視覺匹配方法及其運算框架，采用二值神經網絡進行匹配計算，并對用于運算的神經網絡框架進行優化設計，實現雙目立體視覺匹配的高精度以及快速運算。

為解決上述技術問題，本發明采用的技術方案是：提供一種基于神經網絡的雙目立體視覺匹配方法，包括如下步驟：

步驟一：構建神經網絡運算框架、構建二值神經網絡并進行訓練；

步驟二：將左圖像和右圖像輸入二值神經網絡進行圖像特征提取，得到一串二值序列作為圖像像素點的特征描述；

步驟三：二值神經網絡通過匹配算法對左圖像和右圖像進行匹配。

二值神經網絡通過將傳統神經網絡中的大量浮點權值數據使用二值數據(+1，-1)替換，將神經網絡的中的乘法運算替換為二值數據的邏輯運算，由于二值數據可以被映射到計算機中的(1，0)，所以二值運算是一種非常符合計算機硬件結構的運算方式。二值神經網絡可以在減少32倍的數據量讀寫的同時，獲得6倍的計算速度的提升。因此，二值神經網絡通過提取高維度非線性特征代替傳統匹配算法中的低維度特征進行匹配，在精度上取得了明顯提升的情況下，運算速度依然保持快速。

優選的，在所述步驟一中，二值神經網絡包括浮點卷積神經網絡層、批規范化層、二值卷積神經網、二值化層和漢明距離相似度計算層；

批規范化層：用于對數據分布進行歸一化調整，批規范化層用于將輸入數據按照如下公式進行計算

其中，x代表本層的輸入結果，μ代表批數據的均值，σ代表批數據的標準差，γ代表神經網絡訓練得到的縮放系數，β代表神經網絡訓練得到的偏置參數。BN代表經過二值化層之后的輸出結果；