[發(fā)明專利]一種紅外圖像增強(qiáng)的道路機(jī)載場景語義分割方法

有效

• 申請?zhí)枺?/td>: 202110278260.5
• 申請日: 2021-03-15
• 公開（公告）號: CN113012175B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 張毅;李端陽;陳霄宇;韓靜;柏連發(fā);張權(quán);滕之杰;魏馳恒
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T3/40;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京蘇創(chuàng)專利代理事務(wù)所(普通合伙) 32273
• 代理人: 張艷

本發(fā)明涉及一種紅外圖像增強(qiáng)的道路機(jī)載場景語義分割方法，將輸入圖像在送入特征提取器之前，先送入了圖像增強(qiáng)模塊，得到了圖像增強(qiáng)后的大尺度圖像，大尺度圖像中的小目標(biāo)尺寸已經(jīng)在一定程度上被放大和增強(qiáng)，接下來將增強(qiáng)后的圖像送入編碼模塊提取小目標(biāo)特征，使提取到的特征因?yàn)橛袌D像增強(qiáng)模塊的存在，不會導(dǎo)致圖像中小目標(biāo)的空間細(xì)節(jié)丟失甚至消失。圖像增強(qiáng)模塊通過網(wǎng)絡(luò)在低分辨率圖像和高分辨率圖像之間找到最佳的映射函數(shù)，映射函數(shù)通過基于深度學(xué)習(xí)的超分辨率重建算法得到，通過映射函數(shù)重建圖像，實(shí)現(xiàn)對圖像的增強(qiáng)放大。該道路機(jī)載場景語義分割方法通過圖像增強(qiáng)的方法，提升目標(biāo)的原始尺度，增強(qiáng)網(wǎng)絡(luò)場景理解，提升輸出精度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種紅外圖像增強(qiáng)的道路機(jī)載場景語義分割方法。

背景技術(shù)

與車載道路場景和安防道路場景不同的是，航拍或者遙感道路場景的視角是自上而下的大視場圖像，由于拍攝角度的不同，場景的復(fù)雜度和所需要解決的問題也不一樣。紅外機(jī)載場景，通過無人機(jī)等飛行儀器搭載紅外圖像采集平臺，通過不同航高，采集不同尺度的圖像。一般來講，為了獲得更大的視場范圍，無人機(jī)的高度會變得比較高，更甚至于，例如衛(wèi)星遙感數(shù)據(jù)，目標(biāo)尺度更小，且更為密集，這就會導(dǎo)致場景下的物體的空間尺度急劇減小，邊緣輪廓變?nèi)酰蝿?wù)中的主要問題就變成了如何解決紅外場景下的小目標(biāo)問題。

航拍或者遙感道路場景的視角是自上而下的大視場道路場景，目標(biāo)尺度小，對比度弱。因此目前航拍紅外弱小目標(biāo)的分割難點(diǎn)主要體現(xiàn)在下面幾個(gè)方面：紅外成像為主動成像，場景中的目標(biāo)邊緣弱，不清晰；場景中有非常多的背景干擾，以及行動的行人，車輛等干擾，以及樹木遮擋；弱小目標(biāo)在場景中形狀不明顯，尺寸，紋理等信息很難加以利用；目標(biāo)相對于場景而言，面積非常小，信噪比低，傳統(tǒng)的分割算法幾乎難以解決。

基于深度學(xué)習(xí)的分割算法從一定程度上可以解決小目標(biāo)問題，但是由于神經(jīng)網(wǎng)絡(luò)為了擴(kuò)大卷積核的感受野具有下采樣的過程，這本身是一個(gè)丟失空間細(xì)節(jié)信息以換取高維特征的過程，但當(dāng)目標(biāo)過小時(shí)，較大倍率的下采樣很可能會導(dǎo)致目標(biāo)的空間細(xì)節(jié)被完全丟失。目前大多數(shù)的方法通常采用對圖像進(jìn)行預(yù)處理，例如背景預(yù)處理，多幀融合增強(qiáng)等方法，但這些方法在航拍的道路場景上的表現(xiàn)并不是很理想，因?yàn)榈缆穲鼍爸校繕?biāo)會出現(xiàn)密集的情況，利如停車場，行駛的車輛等情況，會導(dǎo)致分割邊緣連在一起。

發(fā)明內(nèi)容

本發(fā)明的目的在于，克服現(xiàn)有技術(shù)中存在的問題，提供一種紅外圖像增強(qiáng)的道路機(jī)載場景語義分割方法，通過圖像增強(qiáng)的方法，提升目標(biāo)的原始尺度，增強(qiáng)網(wǎng)絡(luò)場景理解，提升輸出精度。

為解決以上技術(shù)問題，本發(fā)明的一種紅外圖像增強(qiáng)的道路機(jī)載場景語義分割方法，將輸入圖像在送入特征提取器之前，先送入了圖像增強(qiáng)模塊，得到了圖像增強(qiáng)后的大尺度圖像，大尺度圖像中的小目標(biāo)尺寸已經(jīng)在一定程度上被放大和增強(qiáng)，接下來將增強(qiáng)后的圖像送入編碼模塊提取小目標(biāo)特征，使提取到的特征因?yàn)橛袌D像增強(qiáng)模塊的存在，不會導(dǎo)致圖像中小目標(biāo)的空間細(xì)節(jié)丟失甚至消失。

進(jìn)一步的，所述圖像增強(qiáng)模塊通過網(wǎng)絡(luò)在低分辨率圖像和高分辨率圖像之間找到最佳的映射函數(shù)，所述映射函數(shù)通過基于深度學(xué)習(xí)的超分辨率重建算法得到，通過映射函數(shù)重建圖像，實(shí)現(xiàn)對圖像的增強(qiáng)放大。

進(jìn)一步的，對于單張圖像來說，通過輸入的低分辨率圖像以及圖像中的卷積得到的特征途中學(xué)習(xí)到更多的信息，使這些信息被利用來重建出更高分辨率的圖像，提升指標(biāo)。

進(jìn)一步的，所述超分辨率重建算法采用了只增加激活函數(shù)前的特征圖通道數(shù)，不增加通道數(shù)的3*3卷積對圖像進(jìn)行信息提取和增強(qiáng)。

進(jìn)一步的，WDSR_A采用了廣泛的特征通道數(shù)來增加進(jìn)去激活函數(shù)之前的信息；WDSR_B采用了更加廣泛的通道數(shù)，且相比較WDSR_A而言，采用了卷積來擴(kuò)展通道數(shù)目，減少大量的參數(shù)量；網(wǎng)絡(luò)將上述兩個(gè)分支進(jìn)行融合后送入一個(gè)上采樣模塊，而WDSR將兩路分支的圖像進(jìn)行了相同的上采樣操作，最后直接相加得到最終重建后的高分辨率的圖像。