[發明專利]一種自然圖像的對空目標紅外圖像生成式對抗網絡構建方法

有效

• 申請號: 202111175362.0
• 申請日: 2021-10-09
• 公開（公告）號: CN113902947B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 魏明強;孫乾;燕雪峰;關東海;張靜宣
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06N3/045;G06N3/0475;G06N3/094;G06N3/0464;G06N3/0455
• 代理公司: 南京有岸知識產權代理事務所(特殊普通合伙) 32757
• 代理人: 王磊

1.一種自然圖像的對空目標紅外圖像生成式對抗網絡構建方法，其特征在于，包括：

S1.基于領域自適應遷移的思想，構建自動生成RGB圖像到紅外圖像的生成對抗網絡模型；

S2.訓練生成對抗網絡模型，并采用生成對抗網絡模型，在原有交通紅外圖像數據庫和少量對空目標紅外圖像數據集的基礎上，生成并擴充對空紅外目標數據集；

S3.基于對空紅外目標數據集，從結構相似性、對空視頻分辨率、檢測速度和正確識別率幾個指標評估生成對抗網絡模型性能；

所述生成對抗網絡模型包括生成器、多尺度特征融合模塊和聯合判別器；

所述生成器，用于交通紅外圖像數據和對空目標紅外圖像數據的領域自適應遷移；

所述生成器包括兩個編碼器和一個共用的解碼器，且兩個編碼器的后部網絡層共享同一參數權重，具體的：

所述編碼器共包含6個卷積殘差塊，每個卷積殘差塊分別由CNN層、BN層、RULU激活函數層組成，且后4個殘差塊采用權重共享的方式；

對應的，解碼器由6個反卷積殘差塊組成；

所述多尺度特征融合模塊，用于提取不同尺度的紅外圖像高緯度特征；

所述多尺度特征融合模塊包括3個多尺度的HDC模塊；

所述HDC模塊由空洞率為1，3，5的空洞卷積依次串聯組成，實現多尺度的紅外圖像特征的提取；

所述聯合判別器，用于輸入圖像深度特征與紅外圖像高緯度特征的組合；

所述聯合判別器，先采用3個卷積層從紅外圖像中提取紅外圖像的特征；其次，將提取到紅外圖像特征與多尺度融合模塊的相組合，最終，組合得到的特征經過多個卷積層最終輸出概率值；

S2所述訓練生成對抗網絡模型，包括有標簽交通數據訓練階段和無標簽領域遷移訓練階段；

其中，在無標簽領域遷移訓練階段，基于領域自適應遷移的思想，實現在無標簽情況下，交通紅外圖像數據到對空目標紅外圖像數據的遷移；

所述有標簽交通數據訓練階段的具體計算方法為：

利用RGB圖像和紅外圖像的交通數據集，訓練編碼器E₁和解碼器D₁；

令生成器G₁(·)＝D₁(F₁(·))，交通數據RGB圖像I_1，rgb通過生成器G₁生成紅外圖像，則有以下損失函數：

其中，是對應的交通數據紅外圖標簽；

采用Adam優化器來優化損失函數Loss_label，使整個模型收斂；

在訓練過程中，保存每個交通數據的高緯度向量f，以供后續無標簽階段訓練使用；

所述無標簽領域遷移訓練階段的具體計算方法為：

(1)固定編碼器E₁非共享部分權重和解碼器D₁權重，訓練編碼器E₂；

對空目標數據在潛在聯合空間的高緯度特征標簽由交通紅外圖像數據的高緯度特征組合而成，則有：

其中，N代表交通紅外圖像數據的總數目，γ_i代表權重，f_i是交通紅外圖像數據潛在聯合空間的高緯度特征；

由高斯隨機過程運算得到Z_u，label；

令損失函數為：Loss_u1＝||Z_u，label-Z_u，pre||₂，

其中，Z_u，pre是對空目標數據在潛在聯合空間的高緯度特征；

令生成器G₂(·)＝D₁(E₂(·))，則對空目標紅外圖I_2，ir為：

I_2，ir＝G₂(I_{2，rgb_t})

其中，I_{2，rgb_t}是收集的真實無標簽對空紅外RGB圖像；

(2)借鑒Cycle?Gan的思路，使由對空目標RGB圖像生成的紅外圖像可以“恢復”為原RGB圖像，保證物體的結構特征一致性；

由生成器G₂生成對空目標紅外圖I_2，ir；

令生成器G₃(·)＝D₂(E₃(·))，則假對空目標RGB圖像I_{2，rgb_f}＝G₃(I_2，ir)；

先訓練特征融合模塊和聯合判別器，使其可識別真與假地對空目標RGB圖像，其次在訓練生成器G₃，使其生成的假的對空目標RGB圖像可以欺騙聯合判別器；

訓練過程中，優化以下損失函數：

Loss_u2＝Loss_f+Loss_gan

其中，特征融合損失函數Loss_f為：

Loss_f＝||y(I_{2，rgb_f})-y(I_{2，rgb_t})||

其中，y(·)代表特征融合模塊函數，I_{2，rgb_t}是真實地對空目標RGB圖像；

特別地，Loss_gan為：

則在無標簽領域遷移訓練階段，總體損失函數為：

Loss_u＝Loss_u1+Loss_u2。