[發(fā)明專利]基于深度學(xué)習(xí)的熱成像圖像雙目視差估計方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310913387.9
• 申請日: 2023-07-25
• 公開（公告）號: CN116630388A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 李駿;瞿嘉明;楊蘇
• 申請（專利權(quán)）人: 蘇州立創(chuàng)致恒電子科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06V10/40;G06V10/75;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京弘權(quán)知識產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長明;占園

本申請?zhí)峁┮环N基于深度學(xué)習(xí)的熱成像圖像雙目視差估計方法及系統(tǒng)，所述方法可以在獲取到雙目熱成像圖像后，提取雙目熱成像圖像的初始特征圖，按照預(yù)設(shè)尺度獲取初始特征圖的尺度特征圖，以及合并尺度特征圖與初始特征圖，以得到雙目特征圖。再構(gòu)造雙目特征圖的互相關(guān)匹配代價卷和級聯(lián)匹配代價卷，以及合并互相關(guān)匹配代價卷和級聯(lián)匹配代價卷，以得到總匹配代價卷，對總匹配代價卷進行編解碼，以得到多種網(wǎng)絡(luò)深度的聚合特征圖，并根據(jù)多種網(wǎng)絡(luò)深度的聚合特征圖生成視差圖。所述方法可以從不同視角的熱成像圖像中有效提取出特征信息，以生成視差圖，提高基于熱成像圖像獲取深度信息的準(zhǔn)確性和穩(wěn)定性。

技術(shù)領(lǐng)域

本申請涉及深度學(xué)習(xí)以及計算機視覺領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的熱成像圖像雙目視差估計方法及系統(tǒng)。

背景技術(shù)

熱成像技術(shù)是一種通過檢測物體發(fā)出的紅外輻射來獲取物體表面溫度分布的非接觸測量技術(shù)。在多種領(lǐng)域得到廣泛的應(yīng)用，例如，工業(yè)、醫(yī)學(xué)、軍事和安全等。雙目視差估計是一種計算機視覺感知技術(shù)，通過分析從不同角度獲取的圖像，計算出場中物體的深度信息。雙目視差估計方法通常基于計算機視覺感知算法，如區(qū)域匹配、立體匹配和光流估計等，并使用可見光圖像或熱成像圖像進行雙目視差估計。

然而，熱成像圖像與可見光圖像存在一些差異。熱成像圖像的特殊點包括灰度范圍比較凸、圖像分類率比較低及紋理信息不清晰等，使得雙目視差估計方法無法充分利用熱成像圖像的特點，進而導(dǎo)致在處理熱成像圖像時準(zhǔn)確性和固定性的限制。同時，在熱成像的雙目視差估計方面，主要集中在利用計算機視覺算法對熱成像圖像進行預(yù)測處理和特征提取，降低在深度信息獲取方面的準(zhǔn)確性和穩(wěn)定性。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N基于深度學(xué)習(xí)的熱成像圖像雙目視差估計方法及系統(tǒng)，以解決基于熱成像圖像獲取深度信息的準(zhǔn)確性和穩(wěn)定性低的問題。

第一方面，本申請?zhí)峁┮环N基于深度學(xué)習(xí)的熱成像圖像雙目視差估計方法，其特征在于，包括：

獲取雙目熱成像圖像，所述雙目熱成像圖像包括第一圖像和第二圖像；

提取所述雙目熱成像圖像的初始特征圖；

按照預(yù)設(shè)尺度獲取所述初始特征圖的尺度特征圖，以及合并所述尺度特征圖與所述初始特征圖，以得到雙目特征圖，所述雙目特征圖包括第一特征圖和第二特征圖；

構(gòu)造所述雙目特征圖的互相關(guān)匹配代價卷和級聯(lián)匹配代價卷，以及合并所述互相關(guān)匹配代價卷和所述級聯(lián)匹配代價卷，以得到總匹配代價卷，所述互相關(guān)匹配代價卷基于特征互相關(guān)運算得到，所述級聯(lián)匹配代價卷基于特征級聯(lián)得到；

對所述總匹配代價卷進行編解碼，以得到多種網(wǎng)絡(luò)深度的聚合特征圖；

根據(jù)所述多種網(wǎng)絡(luò)深度的聚合特征圖生成視差圖。

第二方面，本申請?zhí)峁┮环N基于深度學(xué)習(xí)的熱成像圖像雙目視差估計系統(tǒng)，包括圖像獲取模塊、特征提取模塊、多層次平均池化模塊、匹配代價卷構(gòu)造模塊、三維卷積聚合模塊以及視差圖生成模塊，其中：

圖像獲取模塊，用于獲取雙目熱成像圖像，所述雙目熱成像圖像包括第一圖像和第二圖像；

特征提取模塊，用于提取所述雙目熱成像圖像的初始特征圖；

多層次平均池化模塊，用于按照預(yù)設(shè)尺度獲取所述初始特征圖的尺度特征圖，以及合并所述尺度特征圖與所述初始特征圖，以得到雙目特征圖，所述雙目特征圖包括第一特征圖和第二特征圖；

匹配代價卷構(gòu)造模塊，用于構(gòu)造所述雙目特征圖的互相關(guān)匹配代價卷和級聯(lián)匹配代價卷，以及合并所述互相關(guān)匹配代價卷和所述級聯(lián)匹配代價卷，以得到總匹配代價卷，所述互相關(guān)匹配代價卷基于特征互相關(guān)運算得到，所述級聯(lián)匹配代價卷基于特征級聯(lián)得到；

三維卷積聚合模塊，用于對所述總匹配代價卷進行編解碼，以得到多種網(wǎng)絡(luò)深度的聚合特征圖；

視差圖生成模塊，用于根據(jù)所述多種網(wǎng)絡(luò)深度的聚合特征圖生成視差圖。