[發明專利]視差圖的獲取方法、裝置、系統及存儲介質

在審

• 申請號: 201910359845.2
• 申請日: 2019-04-30
• 公開（公告）號: CN111862321A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 趙帥領
• 申請（專利權）人: 北京四維圖新科技股份有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T5/50;G06K9/62
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;劉芳

1.一種視差圖的獲取方法，其特征在于，包括：

接收圖像采集設備獲取的左圖像和右圖像；

通過第一卷積通道和第二卷積通道分別對所述左圖像和所述右圖像進行N次卷積處理，得到對應的左特征圖和右特征圖；所述第一卷積通道和所述第二卷積通道分別包含有N個卷積層；N為大于0的自然數；

對所述左特征圖和所述右特征圖進行融合處理，得到融合特征圖；

通過第三卷積通道對所述融合特征圖進行M次的卷積處理，得到目標融合特征圖；所述第三卷積通道包含有M個卷積層，M為大于0的自然數；

通過反卷積通道對所述目標融合特征圖進行P次反卷積處理，得到所述左圖像和所述右圖像的視差圖；所述反卷積通道包括P個反卷積層；其中，P與N、M相關。

2.根據權利要求1所述的方法，其特征在于，對所述左特征圖和所述右特征圖進行融合處理，得到融合特征圖，包括：

將所述右特征圖像在極線方向上向右進行逐漸平移，并與所述左特征圖像進行卷積處理，得到融合特征圖；或者將所述左特征圖像在極線方向上向左進行逐漸平移，并與所述右特征圖像進行卷積處理，得到融合特征圖。

3.根據權利要求1所述的方法，其特征在于，通過反卷積通道對所述目標融合特征圖進行P次反卷積處理，得到所述左圖像和所述右圖像的視差圖，包括：

在每一次反卷積處理時，在所述反卷積通道對應的反卷積層中加入與所述反卷積層的分辨率相同的第一卷積通道的卷積層特征、第二卷積通道的卷積層特征，和/或第三通道的卷積層特征；

通過所述反卷積通道的P個反卷積層對所述目標融合特征圖進行P次反卷積處理，得到所述左圖像和所述右圖像的視差圖；其中，P＝N+M。

4.根據權利要求1-3中任一項所述的方法，其特征在于，還包括：

對預設的訓練集中的樣本圖像進行過濾，濾除視差超過預設閾值的樣本圖像，得到候選圖像；所述候選圖像中預先標注有左圖像和右圖像的視差標簽；

選取反卷積通道的最后N層反卷積層，構建N個子損失函數，N為大于1的自然數；所述子損失函數是根據反卷積層生成的視差圖與所述候選圖像的視差標簽中真實視差之間的誤差確定的；

設置所述N個子損失函數的權重值；

基于所述N個子損失函數的權重值以及所述N個子損失函數，構建損失函數；

將損失函數作為約束條件，通過所述候選圖像迭代訓練所述第一卷積通道、第二卷積通道、第三卷積通道、反卷積通道。

5.一種視差圖的獲取裝置，其特征在于，包括：

接收模塊，用于接收圖像采集設備獲取的左圖像和右圖像；

第一卷積模塊，用于通過第一卷積通道和第二卷積通道分別對所述左圖像和所述右圖像進行N次卷積處理，得到對應的左特征圖和右特征圖；所述第一卷積通道和所述第二卷積通道分別包含有N個卷積層；N為大于0的自然數；

融合模塊，用于對所述左特征圖和所述右特征圖進行融合處理，得到融合特征圖；

第二卷積模塊，用于通過第三卷積通道對所述融合特征圖進行M次的卷積處理，得到目標融合特征圖；所述第三卷積通道包含有M個卷積層，M為大于0的自然數；

反卷積模塊，用于通過反卷積通道對所述目標融合特征圖進行P次反卷積處理，得到所述左圖像和所述右圖像的視差圖；所述反卷積通道包括P個反卷積層；其中，P與N、M相關。

6.根據權利要求5所述的裝置，其特征在于，所述融合模塊，具體用于：

將所述右特征圖像在極線方向上向右進行逐漸平移，并與所述左特征圖像進行卷積處理，得到融合特征圖；或者將所述左特征圖像在極線方向上向左進行逐漸平移，并與所述右特征圖像進行卷積處理，得到融合特征圖。