[發明專利]一種基于彩色相機與紅外熱成像儀特征融合的目標檢測方法

有效

• 申請號: 202010135485.0
• 申請日: 2020-03-02
• 公開（公告）號: CN111382683B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 殷國棟;吳愿;薛培林;耿可可;莊偉超;黃文涵;沈童;于晨風;鄒偉;盧彥博;王金湘;張寧;陳建松;任祖平
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/20;G06V10/80
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 彭英

本發明公開了一種基于彩色相機與紅外熱成像儀特征融合的目標檢測方法，包括以下步驟：a、通過彩色相機獲得彩色數據集，通過紅外熱成像儀獲得熱紅外數據集；b、將雙模態數據集同時輸入到雙模態的YOLOv3神經網絡算法中，提取目標的顏色特征與溫度特征；在主干網絡的某一層通過融合函數與1×1卷積塊將兩個模態的特征融合，然后選取融合后的特征圖繼續進行主干網絡的特征提取，得到融合后的提取特征圖；c、融合后的提取特征圖輸入到后續的卷積層中進行目標的分類，輸出訓練完成的雙模態神經網絡的算法模型。本發明融合溫度與顏色信息，在雙模態神經主干網絡算法進行融合，輸入分類層中進行目標的預測，增加目標的多種特征信息，提高目標識別準確性。

技術領域

本發明涉及人工智能技術領域，具體涉及一種基于彩色相機與紅外熱成像儀特征融合的目標檢測方法。

背景技術

在背景多變、地形地物遮擋等復雜地形環境中，以及在雨天、霧霾、黑暗等能見度低的自然環境中，使用傳統目標識別方案準確率低，不能滿足自動駕駛的需求。這是由于彩色相機對光線特別的敏感，神經網絡無法提取到目標完整的特征，故一味的提升網絡算法也無法提高目標識別的準確率。為了保證自動駕駛車輛能夠及時地、精確地感知路面環境中存在的安全隱患，快速采取措施，避免發生交通事故，往往采取多傳感器聯合觀測的方法。

目前自動駕駛車輛感知平臺主要包含激光雷達、彩色相機、紅外熱成像儀、毫米波雷達等傳感器。其中，激光雷達主要通過雷達掃描車輛周圍環境來獲得三維距離信息，通過距離分析識別技術對行駛路況進行感知，它能夠獲得物體的三維距離信息，具有很高的測量精度且不受環境的影響，但是其價格昂貴，也不能獲得目標的形態特征。毫米波雷達主要也是用來獲得目標的距離信息，它具有波長短、頻帶寬、穿透能力強等特點，并且其體積小巧，識別精度高，但是毫米波雷達也不能探測到目標的形態特征并且價格較貴，不適合目標檢測與識別。而彩色相機與紅外熱成像儀主要負責目標的識別且成本最低、安裝方便、體積小、能耗低。彩色可以獲得豐富的紋理信息，而紅外熱成像儀可以獲得目標的溫度信息。

因此，彩色相機與紅外熱成像儀聯合檢測目標的方法得到廣泛應用，如何對熱紅外相機的溫度信息與彩色相機的顏色信息進行融合，以達到最優的目標檢測效果，是亟待解決的問題。

發明內容

為解決上述問題，本發明提出一種基于彩色相機與紅外熱成像儀特征融合的目標檢測方法，針對特殊場景下彩色相機無法準確識別目標的問題，融合熱紅外相機的溫度信息與彩色相機的顏色信息，利用雙通道的神經網絡算法，分別學習目標特征，并且在雙模態神經網絡算法的某一層進行融合，然后輸入網絡算法的分類層中進行目標的預測，能夠增加目標的多種特征信息，提高目標識別的準確性。

技術方案：本發明提出一種基于彩色相機與紅外熱成像儀特征融合的目標檢測方法，包括以下步驟：

a、通過彩色相機獲得彩色數據集，通過紅外熱成像儀獲得熱紅外數據集；

所述步驟a包括：

a.1、將彩色相機與紅外熱成像儀固定在傳感器支架上，并保證彩色相機與紅外熱成像儀拍攝的視角一致；然后對彩色相機與紅外熱成像儀進行聯合標定，分別獲得彩色相機與紅外熱成像儀的內外參數矩陣，完成空間上的同步；

a.2、用紅外熱成像儀與彩色相機同時實時對環境進行采集，獲取同步時間戳的彩色數據集和熱紅外數據集，完成時間上的同步；

a.3、將上述拍攝到的彩色數據集和熱紅外數據集根據彩色相機與紅外熱成像儀的內外參數矩陣先進行去畸變處理，然后進行配準，保證彩色數據集中的像素點與熱紅外數據集上的像素點一一對應。

所述步驟a.1中的聯合標定采用張正友標定板，通過張正友標定法獲取兩個傳感器的內外參數矩陣。