[發明專利]一種可見光與紅外融合的目標識別方法

有效

• 申請號: 202010418653.7
• 申請日: 2020-05-18
• 公開（公告）號: CN111611905B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 宮華;張勇;雷鳴;許可;劉芳
• 申請（專利權）人: 沈陽理工大學;中國電子科技集團公司第五十三研究所
• 主分類號: G06V20/60
• 分類號: G06V20/60;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

本發明公開一種可見光與紅外融合的目標識別方法，屬于目標檢測技術領域，該方法通過建立清晰的融合圖像數據集；訓練可見光目標檢測算法網絡與紅外目標檢測算法網絡；對可見光圖像與紅外圖像進行DenseFuse像素級融合；對融合后圖像進行限制對比度直方圖均衡；將增強后圖像與可見光圖像輸入訓練好的可見光目標檢測模型；將增強后圖像與紅外圖像輸入訓練好的紅外目標檢測模型；將檢測結果根據設計的決策級融合策略決策最佳結果并輸出。提高了目標檢測的置信度和準確性，有效的避免了數據融合過程中信息丟失較多以及單一傳感器捕獲圖像局限性的問題，從而解決了目標檢測中的誤識別與漏識別的問題。

技術領域

本發明涉及目標檢測技術領域，尤其涉及一種可見光與紅外融合的目標識別方法。

背景技術

目標檢測的主要功能是根據輸入的圖像信息，定位人們感興趣的目標，并對定位的目標進行具體的分類，最后給出置信度分數；目前目標檢測技術已廣泛應用于智能交通管理領域，其可以顯著提高智能交通管理系統中的交通監管以及車輛管控的性能；近年來，國內外學者對目標檢測進行了大量的研究，包括基于像素點特征的目標檢測、基于特征描述子的目標檢測、基于灰度奇異值法的目標檢測、基于磁阻傳感器的目標檢測及基于BP神經網絡的目標檢測方法等方法，還有學者使用基于卷積神經網絡的目標檢測方法，對人們感興趣的目標進行檢測，在某些情況下能夠達到非常卓越的效果；但在單一傳感器下捕獲的目標圖像，容易受到外界環境的干擾，使得目標圖像不清晰甚至是不能夠對目標進行成像，此時卷積神經網絡的目標檢測算法容易產生誤識別與漏識別的問題；同時，有很多學者對基于卷積神經網絡的目標檢測算法進行了大量的改進，如：對多源傳感器拍攝的圖像進行像素級融合、特征級融合、或決策級融合的單一融合手段方法，對可見光于紅外圖像進行融合，但在單一的融合方法會在融合的過程中丟失大量的信息，仍然出現提取到的特征不能很好的區分目標的現象。

對于決策級融合方法，屬于高層次融合手段，能夠根據不同的實際任務需求設計決策融合策略。像素級融合方法，能夠從傳感器接收到的源圖像信息進行融合，極大程度保留了圖像的原始特征，并在融合過程中引入新的特征。同時DenseFuse像素級融合方法能夠，結合卷積神經網絡處理圖像的優勢，將可見光圖像與紅外圖像進行融合。將像素級融合方法與決策級融合方法相結合的多手段融合，能夠使目標檢測算法適應多種惡劣環境下，如煙幕或黑夜環境下的準確檢測。

目前，有學者已經提出使用多手段融合結合在故障診斷或信息評判等多領域。同時有學者使用單一融合方法對紅外圖像與可見光圖像進行融合，并結合傳統的目標屬性算法進行目標檢測，能夠有效解決由單一傳感器捕獲圖像的局限性，使得目標檢測算法能夠適應各種復雜環境，從而提高目標檢測的準確率。

由于基于卷積神經網絡的目標檢測算法發展時間不長，理論基礎和應用推廣還需進一步深入研究，將多手段融合方法與基于卷積神經網絡的目標檢測算法相結合應用到目標檢測，相關文獻還很少。

因此希望設計一種可見光與紅外融合的目標識別方法，可以克服或至少減輕現有技術的上述缺陷。

發明內容

針對上述現有技術的不足，本發明提供一種可見光與紅外融合的目標識別方法。

為解決上述技術問題，本發明所采取的技術方案是：一種可見光與紅外融合的目標識別方法，其流程如圖1所示，包括如下步驟：

步驟1：利用可見光傳感器和紅外傳感器分別對待檢測區域進行采樣，同時得到可見光圖像VIS-Image和紅外圖像IR-Image；

步驟2：將可見光圖像VIS-Image和紅外圖像IR-Image進行像素級融合，得到像素級融合后的圖像Fusion-Image；

步驟2.1：將紅外圖像IR-Image與可見光圖像VIS-Image同時送入DenseFuse像素級融合的編碼網絡，進行卷積操作與編碼處理，得到k×M張編碼后的特征圖φ(x,y)，其中k為總共輸入DenseFuse網絡的圖像數，M為提取到的特征圖數量；