[發明專利]一種基于簡化獨立成分分析和局部相似性的立體匹配方法

有效

• 申請號: 202010103827.0
• 申請日: 2020-02-20
• 公開（公告）號: CN111368882B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳蘇婷;張婧霖;鄧仲;張闖
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/77;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

1.一種基于簡化獨立成分分析和局部相似性的圖像立體匹配方法，其特征在于：該方法包括以下步驟：

步驟一，將雙目相機拍攝的立體圖像對輸入DispNetC網絡的卷積層，提取每個像素的特征，通過計算特征相關性構建初始匹配代價卷，完成初始匹配代價計算；

步驟二，將初始匹配代價卷輸入DispNetC網絡的編碼-解碼結構，進行簡化獨立成分分析匹配代價聚合，定義簡化獨立成分分析損失函數L_SICA，更新像素點的權值；

步驟三，聚合后的匹配代價卷輸入解碼結構的最后一層反卷積層，反卷積的結果即為視差圖，構建局部相似性損失函數L_l，并結合簡化獨立成分分析損失函數L_SICA，得到總損失函數L；具體如下：

在單像素點損失函數的基礎上結合區域損失函數，構建局部相似性損失函數，結合簡化獨立成分分析損失函數，得到總損失函數；

在立體匹配中，通過計算預測視差圖和真實視差圖之間的差異，將該差異作為訓練損失，其中單像素點的損失函數L_s表示為：

其中N是像素數量，d_n和分別是第n個像素的預測視差以及真實的視差；

采用KL散度衡量兩個相鄰像素之間的相似性，當像素n和其鄰域像素t的真實視差相同，在訓練網絡時，使像素n和t的預測視差的差別越小，同時損失函數值越小越滿足預期；當像素n和其鄰域像素t的真實視差不同，在訓練網絡時，使像素n和t的預測視差的差別越大，同時損失函數越小越滿足預期；根據兩個相鄰像素之間的相似性定義區域損失函數L_r為：

其中D_kl()表示Kullback-Leibler散度，d_n和d_t分別是中心像素點n和其領域像素點t的預測視差值，和分別是中心像素點n和其領域像素點t的真實視差值，m為邊界參數；

在單像素點損失函數的基礎上結合區域損失函數，將局部相似性損失函數定義L_l為：

其中N是像素數量，區域損失函數L_r中R(d_n)代表區域內預測的視差值，代表區域內真實的視差值，n代表區域的中心像素，R(*)代表p*q的鄰域，R代表p*q鄰域的面積；

結合簡化獨立成分分析損失函數L_SICA以及局部相似性損失函數L_l，將總損失函數L定義為：

其中ω和λ為權重參數，用來控制簡化獨立成分分析損失函數L_SICA和局部相似性損失函數L_l的重要性比例，R(*)代表p*q的鄰域，R代表p*q鄰域的面積；

步驟四，利用真實視差圖和預測視差圖以及定義的總損失函數L進行網絡訓練，更新網絡參數，通過訓練完成的網絡預測得到全尺寸視差圖。

2.根據權利要求1所述的一種基于簡化獨立成分分析和局部相似性的圖像立體匹配方法，其特征在于：所述步驟一，初始匹配代價計算方法如下：

通過DispNetC網絡的卷積層提取立體圖像對的特征，得到兩張圖像各自的特征圖；將特征輸入DispNetC網絡的相關層，獲取其在特征空間內對應位置的關系，獲得初始匹配代價；通過DispNetC網絡的相關層比較兩個特征圖各個塊的關系，即計算各塊之間的相關性，公式如下：

其中c(x₁,x₂)表示特征圖的塊的相關性，f₁和f₂分別表示兩個特征圖，x₁表示特征圖f₁中以x₁為中心的一塊，x₂表示特征圖f₂中以x₂為中心的一塊，k為圖像塊大小，d為圖像位移范圍，即視差搜索范圍；

在求取匹配代價的過程中，將立體圖像對中左圖設為參考圖像，在范圍d內進行移動，計算相關性大小，得到初始匹配代價卷。