[發(fā)明專利]序列圖像紅外小目標超分辨方法、裝置、設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111158811.0
• 申請日: 2021-09-30
• 公開（公告）號: CN113793268B
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 安瑋;林再平;應(yīng)昕怡;盛衛(wèi)東;曾瑤源;李淼;周石琳;王龍光;王應(yīng)謙
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/40;G06V10/774;G06V10/80
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王學強

本申請涉及一種序列圖像紅外小目標超分辨方法、裝置、設(shè)備和存儲介質(zhì)。所述方法獲取多幀序列圖像；構(gòu)建序列圖像紅外小目標超分辨網(wǎng)絡(luò)，該網(wǎng)絡(luò)中：特征提取模塊采用中心差分殘差組對序列圖像進行特征提取；注意力特征對齊模塊對序列圖像特征采用時空局部注意力模塊進行幀間對齊；漸進融合模塊利用時域距離先驗將對齊的特征由粗到精進行融合；圖像重構(gòu)模塊根據(jù)融合特征得到重構(gòu)的高分辨率參考幀圖像；采用多幀序列圖像對該超分辨網(wǎng)絡(luò)進行訓練，利用訓練得到序列圖像紅外小目標超分辨模型對序列圖像進行處理，得到重構(gòu)的高分辨率參考幀圖像。本方法可提高圖像分辨率，增大小目標對比度，恢復(fù)小目標高保真度細節(jié)信息，提升紅外小目標檢測性能。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種序列圖像紅外小目標超分辨方法、裝置、設(shè)備和存儲介質(zhì)。

背景技術(shù)

紅外成像系統(tǒng)具有全天時全天候，穿透力強，靈敏度高，隱蔽性強等特點，被廣泛應(yīng)用于安防監(jiān)控，遙感偵查，空天攻防等國防軍事領(lǐng)域?，F(xiàn)如今，低分辨率的紅外圖像已經(jīng)逐漸難以滿足實際任務(wù)的高需求。因此，提高紅外圖像的分辨率是一項關(guān)鍵任務(wù)。直觀考慮，采用大尺寸的紅外傳感器陣列可以提升紅外圖像的分辨率，但是，由于傳感器的技術(shù)局限和大尺寸紅外傳感器陣列的高昂成本，在實際工程應(yīng)用中需要研究價格低廉且可靠性較高的后處理技術(shù)(例如圖像超分辨算法)來提高紅外圖像的分辨率。

紅外成像系統(tǒng)特殊的成像機理，以及針對紅外圖像超分辨場景的任務(wù)需求，對紅外圖像超分辨任務(wù)提出如下要求：1)紅外圖像紋理信息不豐富，但是邊緣信息很重要，因此，超分辨的主要任務(wù)為恢復(fù)圖像中的高頻邊緣信息。2)對超分辨圖像的保真度要求比較高，要求盡量少的噪聲和偽輪廓。3)紅外圖像信噪比較低且存在復(fù)雜噪聲，要求算法的魯棒性高。4)紅外圖像數(shù)據(jù)集不豐富，缺少真實場景的紅外高低分圖像對。5)面向任務(wù)需求(目標檢測和識別)，需要針對性提升目標的強度，輪廓邊緣清晰度和細節(jié)紋理特征。

現(xiàn)有紅外圖像存在分辨率不高、紅外小目標對比度較低，細節(jié)較少的問題。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能提高圖像的分辨率，增大小目標的對比度，恢復(fù)小目標的高保真度細節(jié)信息，從而提升紅外弱小目標的檢測性能的序列圖像紅外小目標超分辨方法、裝置、設(shè)備和存儲介質(zhì)。

一種序列圖像紅外小目標超分辨方法，所述方法包括：

獲取多幀序列圖像。

構(gòu)建序列圖像紅外小目標超分辨網(wǎng)絡(luò)，所述序列圖像紅外小目標超分辨網(wǎng)絡(luò)包括特征提取模塊、注意力特征對齊模塊、漸進融合模塊以及圖像重構(gòu)模塊；所述特征提取模塊采用中心差分殘差組對序列圖像進行特征提??；所述注意力特征對齊模塊對提取的序列圖像特征采用時空局部注意力模塊進行幀間對齊，所述漸進融合模塊利用時域距離先驗將對齊的特征由粗到精進行特征融合，所述圖像重構(gòu)模塊根據(jù)融合后的特征進行重構(gòu)得到重構(gòu)的高分辨率參考幀圖像。

將多幀序列圖像作為訓練樣本對所述序列圖像紅外小目標超分辨網(wǎng)絡(luò)進行訓練，得到序列圖像紅外小目標超分辨模型。

獲取待測多幀序列圖像，將所述待測多幀序列圖像輸入到所述序列圖像紅外小目標超分辨模型中，得到重構(gòu)的高分辨率參考幀圖像。

一種序列圖像紅外小目標超分辨裝置，所述裝置包括：

圖像獲取模塊，用于獲取多幀序列圖像。

序列圖像紅外小目標超分辨網(wǎng)絡(luò)構(gòu)建模塊，用于構(gòu)建序列圖像紅外小目標超分辨網(wǎng)絡(luò)，所述序列圖像紅外小目標超分辨網(wǎng)絡(luò)包括特征提取模塊、注意力特征對齊模塊、漸進融合模塊以及圖像重構(gòu)模塊；所述特征提取模塊采用中心差分殘差組對序列圖像進行特征提取；所述注意力特征對齊模塊對提取的序列圖像特征采用時空局部注意力模塊進行幀間對齊，所述漸進融合模塊利用時域距離先驗將對齊的特征由粗到精進行特征融合，所述圖像重構(gòu)模塊根據(jù)融合后的特征進行重構(gòu)得到重構(gòu)的高分辨率參考幀圖像。