[發(fā)明專利]一種跨域紅外目標檢測方法

在審

• 申請?zhí)枺?/td>: 202110474134.7
• 申請日: 2021-04-29
• 公開（公告）號: CN113158943A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設計）人: 顏成鋼;路統(tǒng)宇;戴振宇;孫垚棋;張繼勇;李宗鵬;張勇東
• 申請（專利權(quán)）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種跨域紅外目標檢測方法，其特征在于，步驟如下：

步驟1，獲取有標簽的源域數(shù)據(jù)和含少量標簽以及沒有標簽的目標域數(shù)據(jù)：

源域數(shù)據(jù)和目標域數(shù)據(jù)分別為可見光圖像和紅外圖像，兩者涉及的場景相似，目標相同；有標簽的源域表示為S＝{X_s,Y_s}，其中x_s∈X_s和y_s∈Y_s分別表示源域數(shù)據(jù)和相應的標簽；目標域由兩部分組成，含有標簽的目標域T₁＝{X_t1,Y_t1}，其中x_t1∈X_t1和y_t1∈Y_t1分別表示目標域數(shù)據(jù)和相應的標簽，以及不含標簽的目標域T₂＝{X_t2}，其中x_t2∈X_t2表示目標域數(shù)據(jù)；

步驟2，利用含有標簽的源域數(shù)據(jù)訓練MaskR-CNN-1網(wǎng)絡：

將有標簽的源域數(shù)據(jù)輸入到MaskR-CNN-1網(wǎng)絡中進行全監(jiān)督的訓練，網(wǎng)絡的損失函數(shù)分為兩部分，第一部分為RPN前景/背景分類損失和RPN目標框回歸損失，兩者可表示為L_RPN，第二部分為Mask R-CNN頭部損失，包括分類損失、回歸損失和像素分割損失，三者可表示為L_HEAD，即MaskR-CNN網(wǎng)絡的總損失函數(shù)表示為L_supervised＝L_RPN+L_HEAD，網(wǎng)絡采取隨機梯度下降算法最小化總損失函數(shù)，并將參數(shù)回傳至MaskR-CNN-1的卷積網(wǎng)絡、RPN網(wǎng)絡以及頭部結(jié)構(gòu)，訓練結(jié)束即可得到訓練好的MaskR-CNN-1網(wǎng)絡；

步驟3，利用源域數(shù)據(jù)和目標域數(shù)據(jù)對一個新的MaskR-CNN-2做域適應訓練：

固定住步驟2中訓練好的MaskR-CNN-1網(wǎng)絡中的卷積網(wǎng)絡backbone-1，分別將源域數(shù)據(jù)和目標域數(shù)據(jù)輸入至backbone-1和Mask R-CNN-2，得到源域數(shù)據(jù)的特征圖F_s和目標域數(shù)據(jù)的特征圖F_t，并分別對兩域數(shù)據(jù)的特征圖做CAM(Class Activation Mapping)操作得到兩域數(shù)據(jù)的注意力圖A_s和A_t，其中F_j是特征圖F的第j個通道，ω_j是F_j經(jīng)過GAP(Global Average Pooling)操作后得到的權(quán)重值；在得到的F_s和F_t之間以及A_s和A_t之間分別增加特征判別器D_F和注意力判別器D_A結(jié)構(gòu)做對抗訓練，使目標域數(shù)據(jù)的特征分布以及注意力分布接近源域數(shù)據(jù)的特征分布以及注意力分布以減小域間差距，其中判別器為多層卷積結(jié)構(gòu)，損失函數(shù)分別為：

步驟4，對紅外圖像進行目標檢測：

將待進行目標檢測的紅外圖像輸入至步驟3中訓練好的Mask R-CNN-2網(wǎng)絡，通過前向傳播得到紅外圖像的特征圖，并送入RPN網(wǎng)絡得到目標的位置、類別以及掩膜信息，最終實現(xiàn)目標檢測功能。

2.根據(jù)權(quán)利要求1所述的一種跨域紅外目標檢測方法，其特征在于，源域數(shù)據(jù)中的圖像數(shù)量為目標域中圖像數(shù)量的2倍以上。