[發明專利]復雜場景中基于車載紅外熱像儀的車輛和行人檢測方法

在審

• 申請號: 202010741321.2
• 申請日: 2020-07-29
• 公開（公告）號: CN111915583A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 劉洋;蘇海龍;曾操;李小麗
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明提供了一種復雜場景中基于車載紅外熱像儀的車輛和行人檢測方法，解決現有技術中在復雜場景中進行車輛和行人檢測平均準確率低的問題。其實現方案為：1.構建紅外圖像數據集，并將其分為訓練樣本和測試樣本；2.對紅外圖像訓練樣本進行擴充；3.在YOLOv3網絡特征圖的第103層上下并行加入兩個3×3卷積層，以與YOLOv3網絡特征圖第103層之后的3×3卷積層和1×1卷積層并行工作，構成新的YOLOv3網絡；4.利用紅外圖像訓練樣本對新的YOLOv3網絡進行訓練；5.利用訓練好的新YOLOv3網絡模型檢測測試樣本集中的紅外圖像。本發明有效提高了紅外圖像中細小和密集目標的檢測精度，可用于對復雜場景下目標分類和定位。

技術領域

本發明屬于計算機視覺目標檢測領域，涉及一種紅外圖像車輛和行人檢測方法，可用于對復雜場景下目標分類和定位。

背景技術

紅外車輛和行人目標檢測是計算機視覺和數字圖像處理的一個重要內容，廣泛應用于智能視頻監控、先進駕駛輔助系統、交通管理等領域。在過去的十幾年里，研究學者們通過研究紅外圖像目標豐富的形狀、紋理這些特征，提出了許多傳統的紅外車輛和行人目標檢測方法。

2012年，深度卷積神經網絡AlexNet在ImageNet大規模視覺識別挑戰賽的成功，證明了卷積神經網絡提取的特征比手工制作提取的特征，如尺度不變特征變換SIFT和方向梯度直方圖特征HOG更強大，也因此幾乎所有的具有出色性能的目標檢測方法都是基于深度卷積神經網絡開展的。這些方法可以分為兩類，第一類是采用一階的方法，可進行端到端的網絡訓練與預測。如YOLO算法通過計算全局特征圖在全連接層進行位置和類別預測，SSD算法通過深度卷積神經網絡對原始圖像分層向下采樣，然后將采樣生成的多尺度特征圖用于預測目標。第二類是采用兩階的方法檢測目標。如Faster R-CNN算法第一階段從經過預處理的網絡提取的特征圖中產生感興趣的區域，第二階段從共享特征圖中選擇感興趣區域的特征，預測出更精確的分類和定位。

目前，基于深度學習的紅外目標檢測方法也采用了上述兩類方法的思想，但檢測性能仍待提升。主要原因是復雜背景下紅外目標的成像距離較遠，紅外圖像的分辨率較低，目標在圖像中僅占較少的像素，使得紅外目標檢測任務變得十分困難。此外，復雜場景中的車輛和行人可能是相鄰的，也可能是相互遮擋的，這使得準確定位車輛和行人更加困難。

最近兩年，一些基于深度學習的紅外目標檢測方法被提出，如易詩提出基于紅外熱成像與YOLOv3的夜間目標識別方法，該方法使用基于深度學習技術的目標檢測框架YOLOv3，對采集處理后的熱成像圖像中的特定目標進行檢測，輸出檢測結果。然而，該方法對熱成像圖像中的細小目標和密集目標的檢測性能較差，目標召回率較低。張勛勛通過改進的YOLOv3網絡，提出了一種航空紅外車輛檢測算法。該算法為了提高檢測效率，構建了一個新的改進的YOLOv3網絡結構，它只有16層。此外，該算法將每一個特征金字塔層級的錨框擴展到四個尺度，提高了小型車輛的檢測精度。但是，該方法采用原始的NMS算法篩選出最終的目標檢測框，對于相互重疊的目標檢測框，NMS算法會將檢測分數較低的檢測框過濾掉。因此，該算法無法對紅外圖像中相互遮擋的車輛進行準確定位。

發明內容

本發明的目的在于針對上述已有技術存在的不足，提供一種復雜場景中基于車載紅外熱像儀的車輛和行人方法，以提高紅外圖像中細小和密集目標的檢測精度。

本發明的技術方案是：首先構建紅外圖像數據集，并對紅外圖像訓練樣本集進行擴充，然后構建一個新的YOLOv3網絡，采用完整的交并比損失L_CIoU作為新的YOLOv3網絡最優的邊界框回歸損失，對新的YOLOv3網絡進行訓練，得到訓練好的新YOLOv3網絡模型，最后利用訓練好的新YOLOv3網絡模型檢測紅外圖像，使用Soft-NMS算法從紅外圖像中篩選出最終的車輛和行人檢測框，具體實現步驟包括如下：

(1)構建紅外圖像數據集：