[發明專利]基于深度學習的熱成像圖像雙目視差估計方法及系統

在審

• 申請號: 202310913387.9
• 申請日: 2023-07-25
• 公開（公告）號: CN116630388A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 李駿;瞿嘉明;楊蘇
• 申請（專利權）人: 蘇州立創致恒電子科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06V10/40;G06V10/75;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;占園

1.一種基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，包括：

獲取雙目熱成像圖像，所述雙目熱成像圖像包括第一圖像和第二圖像；

提取所述雙目熱成像圖像的初始特征圖；

按照預設尺度獲取所述初始特征圖的尺度特征圖，以及合并所述尺度特征圖與所述初始特征圖，以得到雙目特征圖，所述雙目特征圖包括第一特征圖和第二特征圖；

構造所述雙目特征圖的互相關匹配代價卷和級聯匹配代價卷，以及合并所述互相關匹配代價卷和所述級聯匹配代價卷，以得到總匹配代價卷，所述互相關匹配代價卷基于特征互相關運算得到，所述級聯匹配代價卷基于特征級聯得到；

對所述總匹配代價卷進行編解碼，以得到多種網絡深度的聚合特征圖；

根據所述多種網絡深度的聚合特征圖生成視差圖。

2.根據權利要求1所述的基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，所述方法還包括：

對所述第一圖像和所述第二圖像進行極線配準，以使所述第一圖像和所述第二圖像上的同名點對位于同一條水平線；

對極線配準后的所述第一圖像和所述第二圖像進行特征提取，以生成初始特征圖。

3.根據權利要求1所述的基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，提取所述雙目熱成像圖像的初始特征圖的步驟，包括：

將所述雙目熱成像圖像輸入多層預設尺寸的卷積核；

將所述多層預設尺寸的卷積核輸出的特征圖依次輸入多組殘差塊，以得到初始特征圖，其中，多組殘差塊包括用于加深特征提取網絡深度的殘差塊以及應用擴張卷積增大感受野的殘差塊。

4.根據權利要求1所述的基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，按照預設尺度獲取所述初始特征圖的尺度特征圖的步驟，包括：

將所述初始特征圖輸入預設尺度的平均池化層；

將所述平均池化層輸出的特征圖輸入預設尺寸的卷積層，所述卷積層用于調整特征通道數；

將所述卷積層輸出的特征圖的尺寸恢復為所述初始特征圖的特征圖尺寸，以得到尺度特征圖。

5.根據權利要求3所述的基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，合并所述尺度特征圖與所述初始特征圖的步驟，包括：

獲取所述用于加深特征提取網絡深度的殘差塊的輸出圖像，以及獲取應用擴張卷積增大感受野的殘差塊的輸出圖像；

合并所述輸出圖像與所述尺度特征圖，以得到雙目特征圖。

6.根據權利要求1所述的基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，構造所述雙目特征圖的互相關匹配代價卷的步驟，包括：

分別將所述第一特征圖和所述第二特征圖的特征通道劃分為多個特征組；

計算所述第一特征圖和所述第二特征圖在每個視差水平下每個特征組中特征通道的組間內積，以及對每個特征組中的組間內積取平均，以得到互相關匹配代價卷。

7.根據權利要求1所述的基于深度學習的熱成像圖像雙目視差估計方法，其特征在于，構造所述雙目特征圖的級聯匹配代價卷的步驟，包括：

將所述第一特征圖輸入卷積層，以及將所述第二特征圖輸入卷積層，所述卷積層用于壓縮特征通道；

在特征維度將壓縮特征通道后的所述第一特征圖和所述第二特征圖進行級聯，以得到級聯匹配代價卷。