[發(fā)明專利]復(fù)雜場景中基于車載紅外熱像儀的車輛和行人檢測方法

在審

• 申請?zhí)枺?/td>: 202010741321.2
• 申請日: 2020-07-29
• 公開（公告）號: CN111915583A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計）人: 劉洋;蘇海龍;曾操;李小麗
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華

1.一種復(fù)雜場景中基于車載紅外熱像儀的車輛和行人檢測方法，其特征在于，包括如下：

(1)構(gòu)建紅外圖像數(shù)據(jù)集：

通過車載紅外熱像儀錄制紅外數(shù)據(jù)，利用MATLAB軟件對場景相似的紅外圖像進(jìn)行剔重，利用LabelImg圖像標(biāo)記工具對紅外圖像中的各類目標(biāo)進(jìn)行位置標(biāo)注，得到紅外圖像數(shù)據(jù)集，并將紅外圖像數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集，其中訓(xùn)練集占比60％,驗(yàn)證集和測試集分別各占比20％；

(2)對紅外圖像訓(xùn)練樣本集進(jìn)行擴(kuò)充：

(2a)對訓(xùn)練集中的紅外圖像分別進(jìn)行90°、180°和270°的旋轉(zhuǎn)，得到旋轉(zhuǎn)變換后的訓(xùn)練樣本；

(2b)對訓(xùn)練集中的紅外圖像進(jìn)行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)，得到翻轉(zhuǎn)變換后的訓(xùn)練樣本；

(2c)對訓(xùn)練集中的紅外圖像進(jìn)行色度空間變換，即先將紅外圖像所在的RGB顏色空間變換到HSV顏色空間，該HSV顏色空間包含色相H、飽和度S和明亮程度V三種信息，并將色相信息H值分別設(shè)定為0°，60°，120°，180°，240°和300°，將明亮程度V值設(shè)定為0.7；再將HSV顏色空間變換回紅外圖像所在的RGB顏色空間，得到色度空間變換后的訓(xùn)練樣本；

(2d)將旋轉(zhuǎn)變化、翻轉(zhuǎn)變換和色度空間變換后的訓(xùn)練樣本進(jìn)行合并，得到擴(kuò)充后的紅外圖像訓(xùn)練樣本集；

(3)構(gòu)建新的YOLOv3網(wǎng)絡(luò)：

在YOLOv3網(wǎng)絡(luò)特征圖的第103層上下并行加入兩個3×3卷積層，這兩個3×3卷積層與YOLOv3網(wǎng)絡(luò)特征圖第103層之后的3×3卷積層和1×1卷積層并行工作，構(gòu)成新的YOLOv3網(wǎng)絡(luò)；

(4)對新的YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

(4a)使用完整的交并比損失函數(shù)L_CIoU作為新的YOLOv3網(wǎng)絡(luò)最優(yōu)的邊界框回歸損失；

(4b)將新的YOLOv3網(wǎng)絡(luò)第103層加入的兩個3×3卷積層的輸出作為特征向量，利用擴(kuò)充后的紅外圖像訓(xùn)練樣本集對新的YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到完整的交并比損失函數(shù)L_CIoU完全收斂后停止訓(xùn)練，得到訓(xùn)練好的新YOLOv3網(wǎng)絡(luò)模型；

(5)利用訓(xùn)練好的新YOLOv3網(wǎng)絡(luò)模型檢測紅外圖像：

(5a)將測試集中的紅外圖像送入訓(xùn)練好的新YOLOv3網(wǎng)絡(luò)模型，得到具有分類信息和定位信息的紅外圖像；

(5b)使用Soft-NMS算法從具有分類信息和定位信息的紅外圖像中篩選出車輛和行人檢測框。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，(3)中構(gòu)成新的YOLOv3網(wǎng)絡(luò)，包含錨框自由分支和有錨分支兩條并行支路，其中：

錨框自由分支結(jié)構(gòu)為：特征金字塔網(wǎng)絡(luò)→第103個卷積層→兩個上下并行的3×3卷積層；

有錨分支的結(jié)構(gòu)為：特征金字塔網(wǎng)絡(luò)→第103個卷積層→3×3卷積層→1×1卷積層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，(4)中的完整交并比損失函數(shù)L_CIoU，其計算公式為：

其中，IoU表示預(yù)測框和目標(biāo)框的交并比，b和b^gt分別表示預(yù)測框和目標(biāo)框的中心點(diǎn)，ρ(·)是歐式距離，c是覆蓋兩個檢測框的最小封閉檢測框的對角線長度，α是一個正的權(quán)重參數(shù)，υ表示縱橫比的一致性。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，(5)中使用Soft-NMS算法從具有分類信息和定位信息的紅外圖像中篩選出車輛和行人檢測框的操作過程為：

(5a)提取具有分類信息和定位信息的紅外圖像初始檢測框b_i，將其放入初始檢測集S中，從初始檢測集S中選擇目標(biāo)置信度分?jǐn)?shù)最高的檢測框M，并把該檢測框M加入到最終的檢測集D中；

(5b)記初始檢測框b_i和檢測框M的交并比初值為iou(M,b_i)，遍歷初始檢測集S中剩余的初始檢測框b_i，采用Soft-NMS算法對初始檢測集S進(jìn)行更新，公式如下：

其中，b_i是初始的檢測框，s_i是初始的檢測分?jǐn)?shù)，s'是更新后的檢測分?jǐn)?shù)，iou(M,b_i)是初始檢測框與得分最高的檢測框的交并比，M是得分最高的檢測框，σ是權(quán)重參數(shù)，D是最終的檢測集，是基于檢測框重疊的加權(quán)函數(shù)；

(5c)設(shè)初始檢測框b_i和檢測框M的交并比閾值為t，將初始檢測框b_i和檢測框M交并比初值iou(M,b_i)與閾值t進(jìn)行比較；

如果iou(M,b_i)值大于等于設(shè)定的閾值t，就將加權(quán)函數(shù)與初始的檢測分?jǐn)?shù)s_i相乘，得到更新后的檢測分?jǐn)?shù)s'，執(zhí)行(5d)；

如果iou(M,b_i)值小于設(shè)定的閾值t，就將初始檢測框b_i保留在初始檢測集S中,執(zhí)行(5e)；

(5d)判斷更新后的檢測分?jǐn)?shù)s'≥0.85是否成立:若是，將初始檢測框b_i從初始檢測集S中刪除，否則，將初始檢測框b_i保留在初始檢測集S中，執(zhí)行(5e)；

(5e)從當(dāng)前的初始檢測集S中繼續(xù)選一個得分最高的檢測框M加入到最終的檢測集D中，返回(5c)開始循環(huán)；

(5f)重復(fù)執(zhí)行(5c)至(5e)，直至初始檢測集S為空，此時最終的檢測集D中包含的檢測框即為篩選后的車輛和行人檢測框。