[發明專利]一種基于PSMNet改進的雙目立體匹配方法

在審

• 申請號: 202010217365.5
• 申請日: 2020-03-25
• 公開（公告）號: CN111583313A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 羅炬鋒;蔣煜華;李丹;曹永長;偰超;張力;崔笛揚;鄭春雷
• 申請（專利權）人: 上海物聯網有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04;G06N3/08
• 代理公司: 上海泰能知識產權代理事務所 31233
• 代理人: 宋纓

1.一種基于PSMNet改進的雙目立體匹配方法，其特征在于，包括：

步驟(1)：獲取雙目圖像，構建基于PSMNet的主干網絡；所述基于PSMNet的主干網絡包括：

深度卷積網絡，用于提取所述雙目圖像的特征，得到左右特征圖；

金字塔池化結構，用于提取所述左右特征圖的多尺度目標特征；

匹配代價卷，用于將所述左右特征圖的多尺度目標特征進行代價聚合，得到3D特征模塊；

3D卷積結構，用于對所述3D特征模塊進行后續代價計算；

步驟(2)：通過引入通道注意力機制對網絡模型提取的不同特征點賦予不同的權重，來改進所述匹配代價卷的結構；

步驟(3)：設計基于編碼過程和解碼過程的網絡結構來改進所述3D卷積結構，得到改進后的基于PSMNet的主干網絡。

步驟(4)：用所述改進后的基于PSMNet的主干網絡對所述雙目圖像進行立體匹配。

2.根據權利要求1所述的基于PSMNet改進的雙目立體匹配方法，其特征在于，所述步驟(2)還包括：將所述左右特征圖的相似度值作為深度維的權重，所述深度維的權重占比越大，表示對視差計算越重要。

3.根據權利要求2所述的基于PSMNet改進的雙目立體匹配方法，其特征在于，所述左右特征圖的相似度值通過度量函數進行評價，所述度量函數包括：歐氏距離、余弦距離和Pearson相關系數。

4.根據權利要求1所述的基于PSMNet改進的雙目立體匹配方法，其特征在于，所述步驟(3)具體為：通過加入編碼過程和解碼過程來構建編解碼結構網絡，所述編碼過程是指卷積層前向傳播時，左右特征圖分辨率由大到小的變化過程；所述解碼過程是指通過卷積層前向傳播時，左右特征圖分辨率由小到大的變化過程；所述編解碼結構網絡的前半部分將數據從低維映射到高維，對數據進行編碼，所述編解碼結構網絡的后半部分將編碼后的數據從高維映射到低維，對數據進行解碼；所述編解碼過程用于實現信息的轉換。

5.根據權利要求4所述的基于PSMNet改進的雙目立體匹配方法，其特征在于，所述編碼過程和解碼過程中還引入了1x1卷積，所述1x1卷積將深層特征和淺層特征融合并進行特征復用；所述1x1卷積將自動調整深層特征和淺層特征產生的差異。

6.根據權利要求1所述的基于PSMNet改進的雙目立體匹配方法，其特征在于，所述步驟(1)中的深度卷積網絡包括ResNet和PVANet深度卷積網絡。