[發明專利]一種基于YOLOv5的多模態小目標檢測方法

在審

• 申請號: 202110475048.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113326735A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 霍靜;孫宏偉;李文斌;高陽
• 申請（專利權）人: 南京大學;江蘇萬維艾斯網絡智能產業創新中心有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

本發明公開了一種基于YOLOv5的多模態小目標檢測方法，本方法主要解決聯合使用紅外圖像和可見光圖像進行目標檢測的問題，該方法主要包括：構建一個輕量化的光照感知網絡，使用其實現對可見光模態圖像感知系數的計算；基于設計的光照感知網絡，將紅外模態和可見光模態數據在YOLOv5架構下進行多模態融合。本發明使用光照感知網絡評估可見光模態圖像下光照感知系數，對訓練好的雙模態目標檢測網絡在NMS算法中進行感知加權融合，該方法在多模態數據集下取得良好的檢測效果，面對夜晚等復雜環境該模型具有很好的魯棒性。

技術領域

本發明公開了一種基于YOLOv5的多模態小目標檢測方法，屬于計算機視覺領域。

背景技術

越來越多的研究者關注利用多傳感器來提升目標檢測模型的識別精度。面對復雜環境，研究者通常利用多模態數據互補的特點提升模型效果，這主要因為不同傳感器記錄信息方式不同，傳感器的差異性使得模態之間信息具有互補性。常用傳感器有紅外相機、激光雷達、深度相機等，則不易受外部環境影響。

2015年，Hwang等人在CVPR上發表一篇關于多模態的數據集，該數據集以行人檢測為背景，提供可將光和紅外兩種模態對齊的圖像，取名為Kaist。Kaist數據集的提出作為一個Benchmark開啟了多模態目標檢測領域的大門。Li等學者基于Kaist數據集，提出具有光照感知門融合的多模態互補技術，作者在Faster R-CNN上面做了實驗驗證，同時對InputFusion、Early Fusion、Halfway Fusion、Late Fusion等融合架構進行了具體分析。InputFusion融合是在數據輸入層進行融合，可見光模模態圖像由紅、綠、藍三個通道組成，紅外模態一般是灰度圖，即單通道，兩個模態圖像融合在一起是四個通道，較簡單實現；EarlyFusion是在骨干網絡底層進行融合，一般是實現底層語義特征的融合，該方法缺失對高層語義特征的融合；Halfway fusion是在骨干網路中間層進行融合，中間層比較容易實現特征較好的融合，但訓練比較困難；Late Fusion基于網絡輸出層進行融合，該種方式更側重于對結果的融合，采用該方式無論是在模型訓練還是部署都很容易實現。

繼Hwang之后，Lu等學者在Li的基礎之上，進一步對多模態融合進行了詳細分析，作者認為多模態在進行Halfway Fusion時，需要考慮不同模態中物體坐標漂移的問題，對于一個訓練好的模型，作者在推理階段對可將光模態做模擬以為進行驗證坐標漂移對模型精度的影響。最后作者先對Kaist數據集兩種模態下的物體坐標進行手工糾正，同時提出RFA模塊從算法上進一步糾正，以此提升多模態的有效融合，不過RFA的模塊引入降低了模型推理速度。Yang等人以SSD作為研究框架，提出基于GFU的多模態融合單元，將多模態融合技術應用到one-stage目標檢測框架中。Heng等人提出循環細化融合模塊，并引入語義監督損失作為輔助策略，使得特征融合更加平衡。Zhou等人基于Lu的基礎上做進一步分析，認為多模態融合時分別受光照和特征兩種不平衡因素影響，作者基于SSD檢測模型，提出基于電路差分思想的特征融合和光照感知融合兩個模塊。

基于以上研究內容，可知大部分學者均是使用Halfway Fusion的方式進行多模態目標檢測融合，這種方式實現起來比較復雜，多模態之間特征域分布的不一致性使得模型訓練更加困難，給目標檢測模型部署應用帶來很大困難。

發明內容

本發明專門針對復雜環境中的多模態目標檢測提出了一種創新的算法，該算法基于輕量化光照感知網絡，將可見光模態和紅外模態下檢測出的結果做多模態融合，即在late fusion融合階段引入可見光模態下的光照感知系數進行加權處理。

提供一種基于YOLOv5的多模態小目標檢測方法，具體包括如下步驟：

步驟(1)、對需要應用的場景進行數據采集，并做劃分，得到訓練集和驗證集；

步驟(2)、對光照感知網絡數據集進行縮放處理，對多模態數據集進行數據增廣處理；