[發明專利]融合可見光與紅外兩波段圖像目標特征的目標識別方法

有效

• 申請號: 201710700308.0
• 申請日: 2017-08-16
• 公開（公告）號: CN107578432B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 閆鈞華;謝天夏;張寅;黃偉;蔡旭陽;杜君;白雪含
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/62;G06K9/46;G06K9/62
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔;徐曉鷺

1.一種融合可見光與紅外兩波段圖像目標特征的目標識別方法，其特征在于，所述方法包括對可見光與中、遠紅外兩波段圖像進行目標配準階段和對可見光與中、遠紅外兩波段圖像進行目標識別階段；

在所述對可見光與中、遠紅外兩波段圖像進行目標配準階段，先對波段進行粗分類后進行精配準；

首先將可見光圖像進行中值濾波，中紅外、遠紅外圖像進行先中值濾波后直方圖均衡，建立目標區域成像模型，提取出圖像目標區域，然后提取目標區域的空間灰度直方圖特征，對所述目標區域進行在其所屬光源下進行粗分類；其次根據各類包含的目標數量以及類與類之間的顯著特征差異判定哪些可見光圖像目標類、中紅外圖像目標類和遠紅外圖像目標類屬于同一類型目標，將所含目標數相同的可見光圖像目標類、中紅外圖像目標類和遠紅外圖像目標類對應起來，稱之為同類型的可見光圖像目標、中紅外圖像目標和遠紅外圖像目標；提取某一類各個目標在可見光、中紅外和遠紅外圖像中的空間邊緣方向直方圖特征，計算目標可見光圖像與目標遠紅外圖像之間的相似度，以及目標中紅外圖像與目標遠紅外圖像之間的相似度，各自最大相似度對應的兩種光源圖像目標是同一個目標，以目標遠紅外圖像為中間變量實現同類目標在3種光源下圖像目標配準。

2.根據權利要求1所述的一種融合可見光與紅外兩波段圖像目標特征的目標識別方法，其特征在于，在所述對可見光與中、遠紅外兩波段圖像進行目標識別階段，基于目標配準結果，建立目標可見光與紅外兩波段圖像樣本庫，計算得到融合特征，將其輸入到分類器中，實現融合可見光與中、遠紅外兩波段圖像目標特征的目標識別。

3.根據權利要求1所述的一種融合可見光與紅外兩波段圖像目標特征的目標識別方法，其特征在于，所述對可見光與紅外兩波段圖像進行目標配準階段的具體過程為：

步驟1.1，對圖像預處理，可見光圖像進行中值濾波，中紅外、遠紅外圖像進行中值濾波和直方圖均衡；

步驟1.2，根據可見光、中紅外和遠紅外圖像成像特點，確定圖像目標區域與背景區域的特征差異，建立圖像目標區域成像模型，提取多源圖像中的目標區域；

步驟1.3，針對各單源圖像，提取其每個目標區域的空間灰度直方圖特征，計算每個目標區域之間的相似性，將各單源圖像目標區域粗分類；

步驟1.4，比較可見光圖像、中紅外圖像以及遠紅外圖像中各類目標包括的目標數量，將所含目標數相同的可見光圖像目標類、中紅外圖像目標類和遠紅外圖像目標類對應起來，稱之為同類型的可見光圖像目標、中紅外圖像目標和遠紅外圖像目標；

步驟1.5，當粗分類中某類目標數量大于或等于2時，提取該類各個目標在可見光、中紅外和遠紅外圖像中的空間邊緣方向直方圖特征，先進行目標遠紅外圖像與目標中紅外圖像比較，再進行目標遠紅外圖像與目標可見光圖像比較；

步驟1.6，針對同類型的兩種光源圖像目標，計算目標的空間邊緣方向直方圖相似度；以遠紅外圖像目標為中間變量，最大相似度對應的中紅外圖像目標與該遠紅外圖像目標是同一個目標，實現同類目標中遠紅外圖像目標和中紅外圖像目標配準；最大相似度對應的可見光圖像目標與該遠紅外圖像目標是同一個目標，實現同類目標中遠紅外圖像目標和可見光圖像目標配準，最終實現同類目標中可見光圖像目標、中紅外圖像目標和遠紅外圖像目標配準。

4.根據權利要求3所述的一種融合可見光與紅外兩波段圖像目標特征的目標識別方法，其特征在于，在所述對可見光與中、遠紅外兩波段圖像進行目標識別階段的具體過程為：

步驟2.1，在所述步驟1.6中得到的配準過的目標基礎上，目標建立目標可見光與中、遠紅外兩波段圖像樣本庫，一半作為訓練集，一半作為測試集；

步驟2.2，用卷積神經網絡自動提取可見光與中、遠紅外兩波段圖像目標的有效特征，得到融合特征，將其作為分類器的輸入，最終實現融合可見光與紅外兩波段圖像目標特征的目標識別。

5.根據權利要求3或4所述的一種融合可見光與紅外兩波段圖像目標特征的目標識別方法，其特征在于，

若各單源圖像中不同類目標包括的目標數量一致，則通過各類之間區分度大的目標特征來確定哪類可見光圖像目標、中紅外圖像目標和遠紅外圖像目標是屬于同一類型的。