[發(fā)明專利]基于可見光及紅外多光譜圖像序列的目標識別方法和裝置

有效

• 申請?zhí)枺?/td>: 202011593002.8
• 申請日: 2020-12-29
• 公開（公告）號: CN112613568B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計）人: 劉孫相與;李貴濤;詹亞鋒;高鵬;趙孔亞
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06V10/56;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種基于可見光及紅外多光譜圖像序列的目標識別方法，其特征在于，包括以下步驟：

使用多光譜相機對目標區(qū)域以均勻間隔采集多個波段的多光譜圖像序列；

同時使用近紅外相機、中紅外相機和遠紅外相機分別在對應的譜段范圍內(nèi)采集與每個紅外相機對應的紅外圖像序列；

同時使用可見光相機拍攝彩色圖像序列；

分別采用基于運動的前景提取算法以及基于表觀的前景提取算法，對所述多光譜圖像序列、所述紅外圖像序列和所述彩色圖像序列中的同步圖像進行計算，獲取包含候選矩形窗的目標同步圖像，其中，所述獲取包含候選矩形窗的目標同步圖像，包括：

基于運動的前景提取算法提取所述每個同步圖像中的第一矩形區(qū)域，

基于表觀的前景提取算法提取所述每個同步圖像中的第二矩形區(qū)域，

計算所述第一矩形區(qū)域和所述第二矩形區(qū)域的交比閾值，

確定所述交比閾值大于預設(shè)閾值的同步圖像為所述目標同步圖像，并在所述第一矩形區(qū)域和所述第二矩形區(qū)域中確定包含重疊像素點最多的矩形區(qū)域為所述候選矩形窗；

根據(jù)預先訓練的與每個所述目標同步圖像對應的分類器識別每個所述目標同步圖像中的候選矩形窗中包含的目標類別識別概率；

在所述彩色圖像序列中的彩色圖像中，或者，所述紅外圖像序列的紅外圖像中顯示所述目標類別識別概率的加權(quán)融合結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，所述使用多光譜相機對目標區(qū)域以均勻間隔采集多個波段的多光譜圖像序列，包括：

根據(jù)第一幀率采集所述多光譜圖像序列，其中，每個所述波段的波長帶寬應小于30nm，所述多光譜相機采集時覆蓋可見光波段波長范圍為380nm-760nm；

所述同時使用近紅外相機、中紅外相機和遠紅外相機分別在對應的譜段范圍內(nèi)采集圖每個紅外相機對應的紅外圖像序列，包括：

根據(jù)第二幀率同時使用近紅外相機、中紅外相機和遠紅外相機分別在對應的譜段范圍內(nèi)采集圖每個紅外相機對應的紅外圖像序列，其中，所述近紅外相機采集時覆蓋的波長范圍為0.76um-1.3um，所述中紅外相機采集時覆蓋的波長范圍為1.3um-3um，所述遠紅外相機采集時覆蓋的波長范圍為3um-15um；

所述同時使用可見光相機拍攝彩色圖像序列，包括：

同時通過第三幀率使用可見光相機拍攝彩色圖像序。

3.如權(quán)利要求1所述的方法，其特征在于，在所述使用多光譜相機對目標區(qū)域以均勻間隔采集多個波段的多光譜圖像序列之前，還包括：

確定所述近紅外相機、中紅外相機和遠紅外相機、所述多光譜相機和所述可見光相機的相機擺放位置，使得所有相機的視野覆蓋所述目標區(qū)域。

4.如權(quán)利要求2所述的方法，其特征在于，在所述對所述多光譜圖像序列、所述紅外圖像序列和所述彩色圖像序列中的同步圖像進行計算之前，包括：

確定所述第一幀率、所述第二幀率和所述第三幀率的最小公倍數(shù)對應的同步間隔；

在所述多光譜圖像序列、所述紅外圖像序列和所述彩色圖像序列中確定與所述同步間隔對應的圖像為所述同步圖像。

5.如權(quán)利要求1所述的方法，其特征在于，所述在所述彩色圖像序列中的彩色圖像中，或者，所述紅外圖像序列的紅外圖像中顯示所述目標類別識別概率的加權(quán)融合結(jié)果，包括：

在所述候選矩形窗中確定所述識別概率大于0.5的目標矩形框；

將所有的所述目標矩形框采用非極大值抑制算法將對應的矩形框縮放至貼近對應的目標類別識別概率的大小；

獲取拍攝所述目標區(qū)域的環(huán)境光，根據(jù)所述環(huán)境光在所述可見光相機和所述近紅外相機、中紅外相機和遠紅外相機中確定目標顯示設(shè)備；

根據(jù)預設(shè)的單應性矩陣將每個縮放后的所述目標矩形框與所述目標顯示設(shè)備對齊；

將對齊后的每個所述目標矩形框?qū)哪繕祟悇e識別概率和對應分類器的訓練精度乘積獲取乘積值；

計算相同位置的縮放后的目標矩形框?qū)拿總€所述目標類別識別概率的所有乘積值的加權(quán)和，在所述目標顯示設(shè)備對應的圖像中顯示所述每個所述目標類別識別概率的所述加權(quán)和。