[發明專利]一種基于特征對齊的目標檢測方法和系統

在審

• 申請號: 202210734336.5
• 申請日: 2022-06-27
• 公開（公告）號: CN115131647A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 楊文;賀鈺潔;張妍;余淮;余磊
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/766;G06V10/44;G06V10/60;G06V10/25;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明提供一種面向未配準的可見光、紅外圖像對的基于特征對齊的目標檢測方法和系統，本發明將紅外模態作為參考模態，可見光模態作為偏移模態，固定參考模態，全程只對偏移模態進行操作。本發明采用由粗到細的特征對齊策略，通過特征偏移預測模塊預測偏移并修正作為初步的對齊手段，通過感興趣區域對齊模塊，對每個候選框進行二次回歸以進一步校正模態特征之間的偏移。此外，引入光照引導的特征加權模塊對感興趣區域特征重新加權，自適應地調整不同模態的貢獻。本方法能夠在只使用一個模態標注的情況下對有較大偏差的兩個模態進行特征對齊，有效地提高可見光與紅外圖像融合目標檢測的精度，對有模態間空間偏移的場景表現出更強的魯棒性。

技術領域

本發明屬于圖像處理技術領域，特別涉及基于特征對齊的目標檢測方法和系統。

背景技術

目標檢測是對復雜場景自動分析與理解的基礎，在智能安防、人機交互、智慧城市等領域都發揮著重要作用。紅外圖像與可見光圖像具有良好的互補特性，通過挖掘二者的互補信息，可以提高可見光與紅外圖像融合的目標檢測精度。

然而，直接對兩個模態的圖像進行特征融合往往需要對圖像對進行配準，因為模態間的空間偏移會降低檢測器性能，這是由于一方面，不同模態的輸入圖像在相應的位置不匹配，待融合的特征也存在空間位置的偏移，融合時特征圖上的特征含義不明確，給網絡推理造成困難，導致產生不穩定的目標分類及定位；另一方面，兩個模態共享標注會引入標注偏差，網絡不能分辨標注信息到底屬于哪一個模態，使得檢測框的位置回歸變得困難。

參見說明書附圖1，圖1表示了未配準可見光-熱紅外圖像對中的位置偏移現象。實線框代表紅外圖像的標注所在位置，虛線框代表可見光圖像中目標所在位置，可以發現兩個模態的傳感器雖然捕獲的是同一場景的圖像，但圖像未經配準，因此相同位置的框并不能覆蓋同樣的目標，會產生空間錯位，甚至會導致一個模態中框住了目標而另一個模態中框住了背景的現象。

之前的工作大多需要兩個模態的精確標注信息對網絡進行強力的監督，或是對模態間的信息進行遷移而沒有直接利用，導致信息的損失。對于拍攝了相同場景但僅具有單模態標注的數據來說，重新標注另一個模態會耗費大量的人力物力以及時間資源，但將模態信息進行遷移又會造成信息的浪費。

因此，亟待一種快捷方便的基于未配準圖像對的可見光與紅外圖像融合目標檢測算法，以提高可見光與紅外圖像融合目標檢測的精度。

發明內容

針對現有技術中的不足，本發明的目的是提供一種面向未配準可見光紅外圖像對的特征對齊目標檢測方法，該方法采用由粗到細的對其策略，能夠在僅使用一個模態標注的情況下對兩個模態的特征進行空間對齊，以提高可見光與紅外圖像融合目標檢測的精度。

為解決上述技術問題，本發明采用如下技術方案：

本發明提供一種基于特征對齊的目標檢測方法，包括以下步驟：

步驟1：將偏移模態圖像、參考模態圖像分別輸入到兩路結構相同的深度卷積神經網絡中以提取圖像特征，兩路網絡不共享參數；

步驟2：將提取的偏移模態特征圖和參考模態特征圖輸入到特征偏移預測模塊中，預測偏移模態特征圖的每個特征位置的偏移量，修正所述特征位置使兩個模態的特征圖初步對齊；

步驟3：將修正后的偏移模態特征圖與參考模態特征圖級聯后輸入區域生成網絡，得到候選框；

步驟4：將所述候選框輸入感興趣區域對齊模塊中，對偏移模態的候選框進行二次回歸，得到修正后的偏移模態候選框以及修正后的偏移模態感興趣區域特征；

步驟5：將偏移模態圖像下采樣并輸入光照感知網絡中預測兩個模態特征的權重；

步驟6：利用步驟5得到的模態權重將步驟4得到的兩個模態的感興趣區域特征重新加權，級聯后送入檢測頭獲取感興趣目標的位置信息，完成目標檢測模型的訓練；