[發(fā)明專利]基于循環(huán)一致對抗網(wǎng)絡(luò)的紅外樣本目標(biāo)檢測方法

有效

• 申請?zhí)枺?/td>: 202010635626.5
• 申請日: 2020-07-03
• 公開（公告）號: CN111915566B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計）人: 楊嘉琛;李愛云
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于循環(huán)一致對抗網(wǎng)絡(luò)的紅外樣本目標(biāo)檢測方法，包括下列步驟：1)原始數(shù)據(jù)集紅外圖像細(xì)節(jié)增強；修改圖像生成網(wǎng)絡(luò)；訓(xùn)練圖像生成網(wǎng)絡(luò)，使用經(jīng)過紅外圖像細(xì)節(jié)增強的數(shù)據(jù)集對調(diào)整過后的圖像生成網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練數(shù)據(jù)包括可見光圖像以及經(jīng)過圖像細(xì)節(jié)增強處理的紅外圖像；得到最終的圖像生成網(wǎng)絡(luò)模型；應(yīng)用于目標(biāo)檢測網(wǎng)絡(luò)，將通過圖像生成網(wǎng)絡(luò)模型得到的可見光圖像輸入目標(biāo)檢測模型進行目標(biāo)檢測。

技術(shù)領(lǐng)域

本發(fā)明屬圖像處理領(lǐng)域，涉及紅外小樣本目標(biāo)檢測方法。

背景技術(shù)

人類的視覺系統(tǒng)只能接收可見光的光譜信息，專家學(xué)者們在可見光圖像領(lǐng)域中已經(jīng)提出了很多先進的計算機視覺目標(biāo)檢測方法。但是，可見光圖像很容易受到天氣和光強等環(huán)境因素的影響，在某些環(huán)境中很難進行目標(biāo)檢測任務(wù)。紅外圖像通過接收目標(biāo)和背景輻射的熱量成像，以此表示檢測目標(biāo)在當(dāng)前場景中的能量或溫度信息，信息很少受到環(huán)境因素的影響。因此，紅外圖像目標(biāo)檢測成為了一個重要的研究方向。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，紅外圖像目標(biāo)檢測算法應(yīng)運而生，但仍有幾個問題。例如，當(dāng)紅外數(shù)據(jù)集為小樣本時，人們很難使用現(xiàn)有的目標(biāo)檢測算法來訓(xùn)練新的目標(biāo)檢測網(wǎng)絡(luò)。因此，利用可見光圖像將紅外圖像直接應(yīng)用于訓(xùn)練有素的目標(biāo)檢測網(wǎng)絡(luò)是紅外信息挖掘的一個難點。

通常，一個比較成功的目標(biāo)檢測網(wǎng)絡(luò)需要大量的參數(shù)和大規(guī)模的數(shù)據(jù)進行訓(xùn)練，這樣的目標(biāo)檢測網(wǎng)絡(luò)才具有較強的泛化能力，但是生成大規(guī)模的帶注釋的數(shù)據(jù)集會耗費大量的成本。數(shù)據(jù)擴充是一種針對小樣本目標(biāo)檢測很有幫助的方法，它利用平移或旋轉(zhuǎn)的方法創(chuàng)建額外的樣本，通過擴展數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。但是數(shù)據(jù)擴充存在局限性，它只是擴大了數(shù)據(jù)集的規(guī)模，并未提高目標(biāo)檢測信息的質(zhì)量，這會使目標(biāo)檢測網(wǎng)絡(luò)學(xué)習(xí)的特征表示不夠強健。在紅外小樣本目標(biāo)檢測上，這種局限性會產(chǎn)生更大的影響。因此，本發(fā)明提出了一種基于循環(huán)一致生成對抗網(wǎng)絡(luò)的紅外小樣本目標(biāo)檢測方法。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于循環(huán)一致生成對抗網(wǎng)絡(luò)的紅外樣本目標(biāo)檢測方法，采用本發(fā)明所述方法，能實現(xiàn)紅外小樣本目標(biāo)圖像與可見光圖像兩種不同數(shù)據(jù)的樣式轉(zhuǎn)換的，并將轉(zhuǎn)換后的可見光圖像應(yīng)用于現(xiàn)有的目標(biāo)檢測網(wǎng)絡(luò)。本發(fā)明的技術(shù)方案如下：

一種基于循環(huán)一致對抗網(wǎng)絡(luò)的紅外樣本目標(biāo)檢測方法，包括下列步驟：

1)原始數(shù)據(jù)集紅外圖像細(xì)節(jié)增強，方法如下：

第1步：選取以像素點k為中心，r為半徑的局部窗口w_k，使用式(1)、(2)計算a_k，b_k

用I表示輸入的原始紅外圖像，為輸入的原始紅外圖像I在局部窗口w_k中的像素的方差，為輸入的原始紅外圖像I在窗口w_k中的像素平均值，ε為正則化參數(shù)；

第2步：I_i為原始紅外圖像在局部窗口w_k中的像素，使用式(3)得到對應(yīng)的細(xì)節(jié)增強后的紅外圖像像素，并用q_i表示：

第3步：q_i組成細(xì)節(jié)增強后的紅外圖像q，用I(y)表示。

2)修改圖像生成網(wǎng)絡(luò)，方法如下

對循環(huán)一致生成網(wǎng)絡(luò)中的生成器網(wǎng)絡(luò)結(jié)構(gòu)進行修改調(diào)整，在生成器網(wǎng)絡(luò)結(jié)構(gòu)的最后引入如下網(wǎng)絡(luò)結(jié)構(gòu)：

c7s1-3,c7s1-3,E,A

c7s1-3表示該層網(wǎng)絡(luò)使用7*7步長為1的卷積核，3個濾波器；E為能量信息轉(zhuǎn)換層，稱之為“能量橋”，“能量橋”的具體結(jié)構(gòu)如下：

c7s2-1,c7s2-1,c7s2-1,c7s2-1