[發明專利]一種可見光/紅外圖像多平臺分布式融合多目標檢測方法

有效

• 申請號: 202110058826.3
• 申請日: 2021-01-17
• 公開（公告）號: CN112861924B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 顧一凡;程詠梅;雷鑫華;莊若望
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V10/762
• 分類號: G06V10/762;G06V10/80;G06V10/774;G06V10/764;G06V20/13
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明公開了一種可見光/紅外圖像多平臺分布式融合多目標檢測方法。首先構建基于FSSD的可見光航拍圖像和紅外航拍圖像多目標檢測網絡，并進行訓練和測試，通過統計方法得到目標檢測的平均準確率AP值；然后使用可見光和紅外航拍圖像多目標檢測網絡，得到目標在圖像中的位置、目標類別、目標歸屬類別的置信度；再根據平均準確率AP值建立ECOC編碼矩陣，通過檢測網絡給出的置信度，并結合ECOC編碼矩陣，給出ECOC預測編碼；最后計算預測編碼與ECOC編碼矩陣各行的歐氏距離，并判斷最小距離得到分布式融合多目標分類結果，完成分布式多目標分類置信度融合。該方法解決了分布式融合權值選取問題，實現了權值自適應計算；提升了多目標檢測的檢測率、精度以及魯棒性。

技術領域

本發明屬于圖像處理領域，具體涉及一種多目標檢測方法。

背景技術

通常飛行器運動存在高度、速度、姿態變化，并且航拍面臨光照強度變化、光照視角變化、云霧遮擋、晝夜交替等影響，因此利用單獨的可見光或紅外成像傳感器對航拍圖像進行多目標檢測，存在檢測率低、精度差、魯棒性不好的問題。

可見光/紅外航拍圖像融合多目標檢測方法具有全天時、全天候的自適應目標檢測優勢；深度學習通過使用多層非線性處理單元進行特征提取和轉換，特征可抽象的進行多級表示，同時具有高泛化能力。將二者結合進行基于深度學習的可見光/紅外航拍圖像融合多目標檢測方法，是目前的研究熱點。

基于深度學習的可見光/紅外航拍圖像融合多目標檢測方法通常可分為像素級融合方法、特征級融合方法以及決策級融合方法。決策級融合方法采用分布式融合圖像目標檢測架構，分別對可見光、紅外航拍圖像通過深度學習網絡完成多目標檢測，然后利用決策級信息融合算法，對檢測結果中目標類別的置信度進行融合，實現圖像目標的多源信息融合檢測。決策級融合能夠克服像素級與特征級融合方法通信帶寬、存儲空間要求高、融合中心計算量大的問題。

目前基于深度學習的可見光/紅外航拍圖像融合多目標檢測方法常采用YOLO系列網絡及FastRCNN系列網絡。YOLO網絡對每種檢測目標都能給出屬于該目標及其它目標的置信度，因此YOLO網絡結合D-S證據理論可以完成決策級融合檢測；FastRCNN系列網絡對每種檢測目標只能給出屬于該目標的置信度，因此需要重新構造屬于該目標及其它目標的置信度，并結合模糊集理論實現決策級融合圖像多目標檢測。但YOLO網絡在目標檢測精度方面不高，Fast?RCNN網絡對目標檢測速度較慢。FSSD網絡在目標檢測精度方面優于YOLO系列網絡，在目標檢測速度方面優于Fast?RCNN網絡，因此基于FSSD網絡的決策級融合圖像多目標檢測，為綜合提高可見光/紅外航拍圖像融合多目標檢測的精度及速度提供了依據。

由于飛行器運動存在高度、速度、姿態的變化，導致航拍圖像發生尺度、角度及模糊的畸變，原始的FSSD目標檢測網絡僅針對可見光圖像，且輸入圖像接口大小較小，在特征提取層級中提取的圖像特征有限，因此精度還有待進一步提高；同時在對紅外圖像進行目標檢測的過程中，會遇到紅外圖像特征較少、不同類目標相似性較高的問題，具有一定的局限性。

可見光/紅外航拍圖像多平臺分布式融合多目標檢測屬于決策級融合方法，由于FSSD網絡只能獲得多目標某一類別置信度，而一般的決策級融合算法需要獲取目標在每個類別上的置信度后，才能進行決策融合計算。并且航拍成像面臨光照強度變化、光照視角變化、云霧遮擋、晝夜交替等影響，單獨使用可見光或紅外檢測網絡進行多目標檢測，不能保證上述環境影響下目標檢測的魯棒性。ECOC是機器學習中的一種多分類算法框架，在每個分類器只能得到相應某一類別的置信度時，它通過對多個分類器的結果進行編編、解碼，實現多類型目標的分類。因此，ECOC為基于FSSD網絡的可見光/紅外航拍圖像多平臺分布式融合多目標檢測提供了一種全新的思路。

發明內容