[發明專利]雙目立體匹配的方法、裝置、設備以及存儲介質

在審

• 申請號: 202211297482.2
• 申請日: 2022-10-22
• 公開（公告）號: CN115908992A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 沈哲倫;張良俊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/74;G06T5/50;G06T7/00;G06N3/0464;G06N3/08
• 代理公司: 北京易光知識產權代理有限公司 11596
• 代理人: 王姍姍;武晨燕

1.一種雙目立體匹配的方法，包括：

對通過雙目攝像頭采集同一場景得到的第一圖像和第二圖像進行多尺度特征提取，得到多尺度的第一子圖像特征和多尺度的第二子圖像特征；

對所述多尺度的第一子圖像特征和所述多尺度的第二子圖像特征采用預設維度的代價卷進行多尺度特征融合，以構建金字塔型代價卷；

根據所述金字塔型代價卷進行雙目立體匹配處理，得到初始的第一視差圖。

2.根據權利要求1所述的方法，其中，所述第一圖像，為雙目攝像頭的第一圖像傳感器采集到的圖像；

所述第二圖像，為所述雙目攝像頭的第二圖像傳感器采集到的圖像。

3.根據權利要求1所述的方法，其中，所述對通過雙目攝像頭采集同一場景得到的第一圖像和第二圖像進行多尺度特征提取，得到多尺度的第一子圖像特征和多尺度的第二子圖像特征，包括：

將所述第一圖像和所述第二圖像構成的圖像對輸入多尺度特征提取網絡；

在所述多尺度特征提取網絡中，對所述圖像對進行不同圖像分辨率的多尺度特征提取，得到所述多尺度的第一子圖像特征和所述多尺度的第二子圖像特征。

4.根據權利要求3所述的方法，其中，所述多尺度特征提取網絡包括多個卷積層；其中，所述多個卷積層中不同卷積層的尺寸不同。

5.根據權利要求3所述的方法，其中，所述對所述多尺度的第一子圖像特征和所述多尺度的第二子圖像特征采用預設維度的代價卷進行多尺度特征融合，以構建金字塔型代價卷，包括：

根據所述多尺度的第一子圖像特征和所述多尺度的第二子圖像特征，得到特征金字塔；

根據所述特征金字塔，構建預設維度的金字塔型代價卷。

6.根據權利要求5所述的方法，其中，所述根據所述特征金字塔，構建預設維度的金字塔型代價卷，包括：

將所述特征金字塔中非原始圖像分辨率的多個特征圖輸入多尺度特征融合網絡；

在所述多尺度特征融合網絡中對所述多個特征圖進行所述多尺度特征融合的四維代價卷構建，得到多尺度的四維融合代價卷；

其中，所述金字塔型代價卷包括所述多尺度的四維融合代價卷。

7.根據權利要求6所述的方法，還包括：

將所述特征金字塔中原始圖像分辨率的一個或多個特征圖輸入視差補償網絡；

在所述視差補償網絡中，結合所述一個或多個特征圖對所述初始的第一視差圖進行三維代價卷構建，得到三維翹曲代價卷；

其中，所述金字塔型代價卷還包括所述三維翹曲代價卷。

8.根據權利要求7所述的方法，其中，所述根據所述金字塔型代價卷進行雙目立體匹配處理，得到初始的第一視差圖，包括：

根據所述金字塔型代價卷中的多尺度四維融合代價卷進行多尺度代價卷融合，得到所述初始的第一視差圖。

9.根據權利要求8所述的方法，還包括：通過所述視差補償網絡對所述初始的第一視差圖進行優化，得到優化后的第二視差圖；其中，所述優化后的第二視差圖的圖像分辨率高于所述初始的第一視差圖的圖像分辨率。

10.根據權利要求6或7所述的方法，其中，所述多尺度特征融合網絡包括：k個編碼塊、k個融合塊及k個解碼塊；其中，

所述k個編碼塊中第i個編碼塊的輸入為第i個四維融合代價卷，第j個編碼塊的輸入為第j-1個融合塊的輸出；其中，所述i為等于1的整數，所述j為大于1的整數；

所述k個融合塊中第j-1個融合塊的輸入為第j-1個編碼塊的輸出和第j-1個四維融合代價卷；

所述k個解碼塊中第k個解碼塊的輸入為第k個融合塊，第m個解碼塊的輸入為第m個融合塊的輸出和第m-1個解碼塊的輸出；其中，m和k為整數且1≤m＜k。