[發明專利]一種可見光與紅外融合的目標識別方法

有效

• 申請號: 202010418653.7
• 申請日: 2020-05-18
• 公開（公告）號: CN111611905B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 宮華;張勇;雷鳴;許可;劉芳
• 申請（專利權）人: 沈陽理工大學;中國電子科技集團公司第五十三研究所
• 主分類號: G06V20/60
• 分類號: G06V20/60;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

1.一種可見光與紅外融合的目標識別方法，其特征在于包括如下步驟：

步驟1：利用可見光傳感器和紅外傳感器分別對待檢測區域進行采樣，同時得到可見光圖像VIS-Image和紅外圖像IR-Image；

步驟2：將可見光圖像VIS-Image和紅外圖像IR-Image進行像素級融合，得到像素級融合后的圖像Fusion-Image；

步驟3：用可見光圖像VIS-Image訓練目標檢測模型Mask?R-CNN，將訓練好的可見光圖像目標檢測模型命名為VIS-484-lrd；用紅外圖像IR-Image訓練目標檢測模型Mask?R-CNN，將訓練好的紅外圖像目標檢測模型命名為AE-Enhance；

步驟4：將VIS-Image和Fusion-Image輸入到訓練好的目標檢測模型VIS-484-lrd中進行目標檢測，得到相應的評估圖像結果；將IR-Image和Fusion-Image輸入到訓練好的目標檢測模型AE-Enhance中進行目標檢測，并得到相應的評估圖像結果；

步驟5：根據步驟3及步驟4得到的評估圖像結果進行匹配，并根據匹配結果進行去除和保留操作；

步驟6：將所有保留的目標結果輸出到DenseFuse像素級融合后圖像Fusion-Image上，并輸出決策級融合后的圖像；

所述步驟2的過程如下：

步驟2.1：將紅外圖像IR-Image與可見光圖像VIS-Image同時送入DenseFuse像素級融合的編碼網絡，進行卷積操作與編碼處理，得到k×M張編碼后的特征圖φ(x,y)，其中k為總共輸入DenseFuse網絡的圖像數，M為提取到的特征圖數量；

步驟2.2：計算融合層對提取到的紅外圖像與可見光圖像的特征圖l₁范數，公式如下：

其中，i是輸入DenseFuse網絡的圖像序號，i∈{1,2,...,k}；

步驟2.3：計算融合層特征圖，公式如下：

其中：超參數r＝1；

步驟2.4：計算融合參數ω_i，公式如下：

步驟2.5：計算融合后圖像，得到M張融合后的特征圖，公式如下：

其中，f?^m(x,y)是融合后輸出的圖像，m∈{1,2,...,M}；

步驟2.6：進行反卷積操作，并進行限制對比度直方圖均衡化，得到可見光與紅外圖像融合后的圖像Fusion-Image。

2.根據權利要求1所述的一種可見光與紅外融合的目標識別方法，其特征在于：所述步驟4所述將VIS-Image和Fusion-Image輸入到訓練好的目標檢測模型VIS-484-lrd中進行目標檢測，得到相應的評估圖像結果的過程如下：

步驟4.1.1：將圖像Fusion-Image和可見光圖像VIS-Image在backbone網絡進行特征提取，分別得到相應的特征圖；

步驟4.1.2：將得到的特征圖輸入到RPN網絡中進行候選區域提議；

步驟4.1.3：將特征圖與提議的候選框輸入到head網絡中評估圖像結果，得到VIS-484-lrd識別的可見光圖像VIS-Image與融合圖像Fusion-Image的結果。

3.根據權利要求1所述的一種可見光與紅外融合的目標識別方法，其特征在于：所述步驟4所述將IR-Image和Fusion-Image輸入到訓練好的目標檢測模型AE-Enhance中進行目標檢測，并得到相應的評估圖像結果的過程如下：

步驟4.2.1：將圖像Fusion-Image和紅外圖像IR-Image在backbone網絡進行特征提取，分別得到相應的特征圖；

步驟4.2.2：將得到的特征圖輸入到RPN網絡中進行候選區域提議；

步驟4.2.3：將特征圖與提議的候選框輸入到head網絡中評估圖像結果，得到紅外圖像目標檢測模型AE-Enhance識別的紅外圖像IR-Image與融合圖像Fusion-Image的結果。

4.根據權利要求1所述的一種可見光與紅外融合的目標識別方法，其特征在于：所述評估圖像結果包括：位置坐標Box、分類信息class、掩碼信息mask和置信度Score。