[發(fā)明專利]一種自然圖像的對(duì)空目標(biāo)紅外圖像生成式對(duì)抗網(wǎng)絡(luò)構(gòu)建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111175362.0
• 申請(qǐng)日: 2021-10-09
• 公開(kāi)（公告）號(hào): CN113902947B
• 公開(kāi)（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 魏明強(qiáng);孫乾;燕雪峰;關(guān)東海;張靜宣
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/80;G06V10/82;G06N3/045;G06N3/0475;G06N3/094;G06N3/0464;G06N3/0455
• 代理公司: 南京有岸知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32757
• 代理人: 王磊

本發(fā)明公開(kāi)了一種自然圖像的對(duì)空目標(biāo)紅外圖像生成式對(duì)抗網(wǎng)絡(luò)構(gòu)建方法，包括S1.基于領(lǐng)域自適應(yīng)遷移的思想，構(gòu)建自動(dòng)生成RGB圖像到紅外圖像的生成對(duì)抗網(wǎng)絡(luò)模型；S2.訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)模型，并采用生成對(duì)抗網(wǎng)絡(luò)模型，在原有交通紅外圖像數(shù)據(jù)庫(kù)和少量對(duì)空目標(biāo)紅外圖像數(shù)據(jù)集的基礎(chǔ)上，生成并擴(kuò)充對(duì)空紅外目標(biāo)數(shù)據(jù)集；S3.基于對(duì)空紅外目標(biāo)數(shù)據(jù)集，從結(jié)構(gòu)相似性、對(duì)空視頻分辨率、檢測(cè)速度和正確識(shí)別率幾個(gè)指標(biāo)評(píng)估生成對(duì)抗網(wǎng)絡(luò)模型性能。本發(fā)明一種自然圖像的對(duì)空目標(biāo)紅外圖像生成式對(duì)抗網(wǎng)絡(luò)技術(shù)具有效率高，創(chuàng)新性高，實(shí)用性強(qiáng)的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種自然圖像的對(duì)空目標(biāo)紅外圖像生成式對(duì)抗網(wǎng)絡(luò)構(gòu)建方法。

背景技術(shù)

空中紅外目標(biāo)探測(cè)與識(shí)別在空中偵察和防空武器等領(lǐng)域有著重要的研究意義和應(yīng)用價(jià)值，常規(guī)的主動(dòng)雷達(dá)成像探測(cè)與可見(jiàn)光成像探測(cè)存在諸多不足，難以滿足一些實(shí)際探測(cè)需求。例如，雷達(dá)由于機(jī)動(dòng)性差，工作地形容易受到限制，易受到干擾和反輻射導(dǎo)彈攻擊，對(duì)低空、超低空發(fā)現(xiàn)目標(biāo)困難等缺點(diǎn)在作戰(zhàn)中不僅難以發(fā)揮作用，還可能成為敵方的“活靶子”。又例如，可見(jiàn)光成像探測(cè)很容易被云層、煙霧等因素干擾，并且容易被不同的偽裝手段欺騙。另外，可見(jiàn)光成像只能在光照度較好的條件下工作，導(dǎo)致不能全天時(shí)工作。

而紅外圖像可以利用目標(biāo)熱輻射被動(dòng)探測(cè)，不易受到敵方干擾和反射導(dǎo)彈的攻擊，在惡劣的電磁環(huán)境下，仍能正常工作，自身無(wú)輻射源，屬于被動(dòng)探測(cè)，不需要向外界發(fā)送信號(hào)，利于隱蔽，并且可以全天時(shí)工作。

紅外探測(cè)具有環(huán)境適應(yīng)性好、隱蔽性好、抗干擾能力強(qiáng)、能在一定程度上識(shí)別偽裝目標(biāo)，且設(shè)備體積小、重量輕、功耗低等特點(diǎn)，在軍事上被廣泛應(yīng)用于紅外夜視、紅外偵察以及紅外制導(dǎo)等方面。

目前在紅外探測(cè)技術(shù)中，紅外成像可以根據(jù)目標(biāo)物體的熱輻射情況得到目標(biāo)圖像的灰度分布，可全天候使用，尤其是在夜晚環(huán)境下能夠較好的進(jìn)行工作，通過(guò)對(duì)目標(biāo)所產(chǎn)生的紅外輻射探測(cè)，實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)、識(shí)別和攻擊。為了更精確地打擊空中紅外目標(biāo)，需要多角度、多尺度地對(duì)目標(biāo)進(jìn)行觀測(cè)。然而，在遠(yuǎn)距離觀測(cè)時(shí)，目標(biāo)圖像分辨率較小，目標(biāo)包含的像素值較少，并缺乏幾何形狀、紋理結(jié)構(gòu)等特征，可利用的信息較少，增加了空中紅外目標(biāo)的識(shí)別難度。

針對(duì)基于紅外圖像的對(duì)空目標(biāo)檢測(cè)，大規(guī)模的數(shù)據(jù)采集和標(biāo)注樣本相對(duì)困難或者代價(jià)極高，限制了深度學(xué)習(xí)在該領(lǐng)域的應(yīng)用。例如，部分軍用飛機(jī)比較罕見(jiàn)以及出于保護(hù)隱私的需要，公開(kāi)的數(shù)據(jù)極其有限，圖2是一組紅外圖像數(shù)據(jù)集圖片。生成樣本豐富的對(duì)空目標(biāo)數(shù)據(jù)集，繼而可提供對(duì)空目標(biāo)檢測(cè)的性能。然而，目前大多數(shù)特征提取技術(shù)和機(jī)器學(xué)習(xí)框架，都針對(duì)可見(jiàn)光數(shù)據(jù)集進(jìn)行優(yōu)化，在紅外圖像領(lǐng)域卻鮮有大規(guī)模公開(kāi)的數(shù)據(jù)集可用于目標(biāo)檢測(cè)任務(wù)，這也是取得性能改善要解決的難點(diǎn)和痛點(diǎn)。

近年來(lái)，隨著深度學(xué)習(xí)算法的迅速發(fā)展，涌現(xiàn)出許多基于神經(jīng)網(wǎng)絡(luò)的新框架，其中生成對(duì)抗網(wǎng)絡(luò)(Generative?Adversarial?Networks，GAN)可實(shí)現(xiàn)無(wú)需標(biāo)記訓(xùn)練樣本的無(wú)監(jiān)督學(xué)習(xí)，已廣泛應(yīng)用于可見(jiàn)光圖片生成、補(bǔ)全、風(fēng)格轉(zhuǎn)換等任務(wù)。生成對(duì)抗網(wǎng)絡(luò)的基本思想是學(xué)習(xí)訓(xùn)練樣本的概率分布，通過(guò)設(shè)定參與游戲雙方分別為生成器和判別器，生成器的目的是盡量去學(xué)習(xí)真實(shí)的數(shù)據(jù)分布，而判別器的目的是盡量正確判別輸入數(shù)據(jù)是來(lái)自真實(shí)數(shù)據(jù)還是來(lái)自生成器；為了取得游戲勝利，這兩個(gè)游戲參與者需要不斷優(yōu)化，各自提高自己的生成能力和判別能力，這個(gè)學(xué)習(xí)優(yōu)化過(guò)程就是尋找二者之間的一個(gè)納什均衡。GAN能學(xué)習(xí)真實(shí)樣本的分布，探索樣本的真實(shí)結(jié)構(gòu)，同時(shí)具有更強(qiáng)大的預(yù)測(cè)能力。

目前研究存在的問(wèn)題：

(1)在實(shí)際應(yīng)用中，有些場(chǎng)景和目標(biāo)的紅外圖像很難獲取，而且數(shù)據(jù)量少，但可以獲取目標(biāo)和場(chǎng)景大量彩色圖像，為了得到大量紅外圖像數(shù)據(jù)，因此將彩色圖像轉(zhuǎn)換為紅外圖像是進(jìn)行數(shù)據(jù)增強(qiáng)的一種很好的思路。例如，紅外多光譜圖像的仿真生成；基于可見(jiàn)光圖像的紅外場(chǎng)景仿真和基于可見(jiàn)光圖像仿真生成紅外圖像的方法：通過(guò)對(duì)可見(jiàn)光圖像進(jìn)行分割、材質(zhì)標(biāo)定、溫度計(jì)算、輻射計(jì)算、細(xì)節(jié)調(diào)制最終生成紅外圖像。但是這些基于仿真的方法是一個(gè)復(fù)雜的過(guò)程，需要大量計(jì)算和建立復(fù)雜的模型；