[發明專利]一種基于卷積神經網絡的立體圖像視差匹配方法

有效

• 申請號: 201810844767.0
• 申請日: 2018-07-27
• 公開（公告）號: CN109005398B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 王毅剛;陳靖宇
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04N13/106
• 分類號: H04N13/106;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于卷積神經網絡的立體圖像視差匹配方法，其特征在于，包括如下步驟：

步驟(1)：圖像預處理；對帶有參考實參圖的立體圖像對的左圖和右圖分別作歸一化處理，使其圖像像素值在[-1,1]中；

步驟(2)構造用于端到端學習的卷積神經網絡；

包括以下網絡層：

2-1.構造一個2D卷積操作層，由降采樣層和殘差塊構成，每層網絡后面跟隨一個批量歸一化層和一個已校正的非線性層；

利用5*5的卷積核對輸入圖像先進行一次降采樣操作，降采樣因子為2，隨后利用殘差塊對圖像進行操作，該殘差塊總共有8個，且每個殘差塊由兩個3*3的卷積核組成，輸出為圖像的一元特征；

2-2.構造計算立體匹配代價層；

利用深度一元特征生成的成本量計算立體匹配的代價，并將步驟2-1中2D卷積操作層的輸出級中的每個一元特征與對應的立體圖像元組進行連接，并將其打包進一個4D量中；

其中深度一元特征生成的成本量的維度為H*W*(D+1)*F，其中H、W分別為圖像的高和寬，D為最大的視差值，F表示圖像特征；

2-3.構造學習上下文層；

先由四層降采樣組成3D正則化網絡層，每層降采樣因子為2，在編碼級別中應用兩個3*3*3的卷積，使得3D成本量的尺寸減少1/8；接著利用3D反卷積操作對解碼器中的向量進行上采樣操作，上采樣因子為2，在解碼級別中應用一個3*3*3的卷積，并在每個上采樣層之前添加一個殘差層，以此來保留圖像中的高頻率信息；最后由一個單3D反卷積層輸出正則化的成本量，成本量維度為H*W*D；

2-4.構造視差估計層；

該網絡層由LSMT神經網絡構成，LSTM神經網絡由包含四個交互層的重復模塊構成，每個模塊里由三個門來控制細胞單元狀態信息，該三個門分別是輸入門，遺忘門和輸出門，每個門由一個sigmoid神經網絡層和一個pointwise乘法操作構成；將步驟2-3中生成的成本量輸入該網絡層，輸出的結果便是視差圖；

每個模塊具體交互步驟如下：

2-4-1.利用遺忘門決定從細胞狀態中去除信息或對其增加信息，其中sigmoid層輸出0-1之間的數值來描述每個部分多少量可通過，0表示不許任何量通過，1表示允許任意量通過；

2-4-2.確定何種新信息將被存放在細胞狀態中；首先利用輸入門確定什么值需要更新，接著用一個tanh層創建一個新的候選值向量加入到狀態中進行更新；

2-4-3.確定輸出值；通過sigmoid層確定細胞狀態的某部分將輸出，接著將細胞狀態通過tanh層進行處理得到一個[-1,1]的值，并將其和sigmoid門的輸出相乘，最終得到確定的輸出值；

步驟(3)網絡訓練；

收集數據集，在訓練集數據輸入網絡進行訓練之前，對數據進行歸一化處理，并設置網絡模型的相關參數，接著對網絡進行有監督的反向傳播算法訓練，直到監督回歸損失收斂，得到訓練網絡；

收集的數據集來源于兩個開源數據庫，sceneflow和KITTI，網絡參數設置包括選擇RMSProp為優化方式，設置學習率為1e-3，并設定F,D相應的值為32,192，網絡訓練在TensorFlow框架下進行；訓練過程有兩部分組成，先使用包含大量圖像數據的sceneflow數據集對網絡進行預訓練，得到一個預訓練模型，然后在這個預訓練模型上進行微調，接著訓練包含圖像數量較少的KITTI數據集；回歸損失的計算公式如下：

其中N表示圖像中的總像素數，dn表示網絡預測出來的視差圖，表示已有的標準視差圖ground truth；

步驟(4)求視差圖；

從測試集中取幾組立體圖像對，進行步驟(1)的預處理；將其輸入步驟(3)中訓練完成的網絡，得到相應的視差圖。