[發明專利]一種基于卷積神經網絡的雙目視差計算方法

有效

• 申請號: 202010199730.4
• 申請日: 2020-03-20
• 公開（公告）號: CN111462211B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 杜娟;湯永超;譚笑宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/564;G06V10/766;G06V10/80;G06V10/82;G06V10/44;G06N3/045;G06N3/0464;G06N3/047
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

1.一種基于卷積神經網絡的雙目視差計算方法，其特征在于，包括如下步驟：

S1利用膨脹級聯卷積網絡模塊提取圖像特征，得到左圖特征數據F_L和右圖特征數據F_R；

S2利用Prewitt算子提取左圖和右圖的圖像邊緣特征信息，生成左圖邊緣特征信息F_LP和右圖邊緣特征信息F_RP，具體為：

Prewitt算子先求取G(i)和G(j)，然后利用F_LP(i,j)＝G_L(i)+G_L(j)和F_RP(i,j)＝G_R(i)+G_R(j)提取圖像邊緣，其中G_L(i)、G_L(j)、G_R(i)和G_R(j)分別代表左圖的y軸方向的邊緣特征，左圖的x軸方向邊緣特征，右圖的y軸邊緣特征和右圖的x軸邊緣特征，求取公式如下：

G_L(i)＝{[I_L(i-1,j-1)+I_L(i-1,j)+I_L(i-1,j+1)]-[I_L(i+1,j-1)+I_L

(i+1,j)+I_L(i+1,j+1)]}；

G_L(j)＝{[I_L(i-1,j+1)+I_L(i,j+1)+I_L(i+1,j+1)]-[I_L(i-1,j-1)+I_L(i,j-

1)+I_L(i+1,j-1)]}；

G_R(i)＝{[I_R(i-1,j-1)+I_R(i-1,j)+I_R(i-1,j+1)]-[I_R(i+1,j-1)+I_R

(i+1,j)+I_R(i+1,j+1)]}；

G_R(j)＝{[I_R(i-1,j+1)+I_R(i,j+1)+I_R(i+1,j+1)]-[I_R(i-1,j-1)+I_R(i,j-

1)+I_R(i+1,j-1)]}；

S3利用多尺度卷積網絡提取圖像邊緣特征及圖像特征中的信息，并進行融合，獲得左圖多尺度特征信息和右圖多尺度特征信息；

S4根據左圖多尺度特征信息、右圖多尺度特征信息和視差網絡層搭建4D?Cost?Volume信息F_cost；

S5搭建3D?CNN網絡進行回歸計算，獲得每一層視差值的代價值C_d；

S6根據每層視差值對應的代價值C_d，利用Softmax函數將每一層視差值的代價值C_d映射到0-1區間，并對視差范圍內所有的視差進行加權求和處理，進而獲得雙目視差結果；

所述搭建3D?CNN網絡進行回歸計算，具體為：

采用損失函數Loss對4D?Cost?Volume信息F_cost進行回歸計算，獲得對應視差層的代價值C_d；

其中，損失函數Loss為其中N為視差層數，d_i為當前像素點真實視差，為當前像素點預估視差。

2.根據權利要求1所述的雙目視差計算方法，其特征在于，所述S1中膨脹級聯卷積網絡模塊為三層結構，第一層為一個3*3卷積核層，第二層為三個1*1卷積核層和三個3*3膨脹卷積核層并行組合，第三層為3*3卷積核層。

3.根據權利要求2所述的雙目視差計算方法，其特征在于，所述第二層中，一個1*1卷積核層為第一條并行通道，一個1*1卷積核層和一個3*3膨脹卷積核層串聯組成第二條并行通道，一個1*1卷積核層和二個3*3膨脹卷積核層串聯組成第三條并行通道。