[發明專利]一種基于密集殘差和雙流注意力的紅外圖像彩色化方法

在審

• 申請號: 202211317811.5
• 申請日: 2022-10-26
• 公開（公告）號: CN115641391A
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 詹偉達;陳宇;唐雁峰;杜佳齊;李銳
• 申請（專利權）人: 長春理工大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T5/00;G06T7/90;G06N3/0475;G06N3/0464;G06N3/08
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 王臨水

本發明公開了一種基于密集殘差和雙流注意力的紅外圖像彩色化方法，涉及圖像處理技術領域，具體步驟為：構建包括生成器和鑒別器的生成對抗網絡；根據第一紅外圖像數據集對生成對抗網絡進行預訓練；利用第一紅外圖像數據集對網絡模型進行訓練，直至達到預設閾值；利用第二紅外圖像數據集對網絡模型進行再次訓練和微調，獲得最終模型；將獲得最終模型的參數進行固化，保存模型；本發明使紅外圖像彩色化得到的圖像具有更好的著色效果，更符合人眼視覺觀察，同時本發明提出的方法實現過程簡單，著色效率更高，通用性更強。

技術領域

本發明涉及圖像處理技術領域，更具體的說是涉及一種基于密集殘差和雙流注意力的紅外圖像彩色化方法。

背景技術

紅外圖像的彩色化是一個模糊不清的問題，因為一個灰度值可能對應著多個可能的顏色值。不同于僅僅估計圖像色度信息的灰度圖像彩色化，紅外圖像彩色化需要同時估計圖像的亮度和色度信息。除此以外，紅外圖像的特性與其對應可見光圖像的特征并沒有必然的聯系，因此紅外圖像的彩色化可以近似看作為從紅外圖像的語義圖像中生成RGB圖像。這些客觀存在的問題加劇了實現紅外圖像彩色化的難度。

中國專利公開號為“CN114581560A”，名稱為“基于注意力機制的多尺度神經網絡紅外圖像彩色化方法”，該方法首先利用二維卷積神經網絡在不同分辨率對輸入的紅外圖像對進行特征提??；將處理后的圖像輸入主干網絡；利用主干網絡對輸入圖片進行編碼，得到輸入特征；然后通過注意力機制對提取出的高維特征信息進行凝練處理；最終將多尺度信息進行融合處理得到預測的彩色紅外圖像。該方法得到的紅外彩色化圖像對比度較低，顏色不自然，不符合人眼視覺效果，同時計算復雜度較高且效率低下。因此，如何克服上述缺陷是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于密集殘差和雙流注意力的紅外圖像彩色化方法，解決了現有的紅外圖像彩色化方法得到的圖像對比度較低、飽和度較低和效率低下的問題，使紅外圖像彩色化得到的圖像具有更好的著色效果，更符合人眼視覺觀察，同時本發明提出的方法實現過程簡單，著色效率更高，通用性更強。

本發明解決技術問題的方案是：

為了實現上述目的，本發明提供如下技術方案：

一種基于密集殘差和雙流注意力的紅外圖像彩色化方法，具體步驟為：

構建網絡模型：構建包括生成器和鑒別器的生成對抗網絡；

準備數據集：根據第一紅外圖像數據集對生成對抗網絡進行預訓練；

訓練網絡模型：利用第一紅外圖像數據集對網絡模型進行訓練，直至達到預設閾值；

微調模型：利用第二紅外圖像數據集對網絡模型進行再次訓練和微調，獲得最終模型；

保存模型：將獲得最終模型的參數進行固化，保存模型。

可選的，生成器包括淺層特征提取模塊、下采樣模塊、注意力模型、上采樣模塊、圖像重建模塊；

所述淺層特征提取模塊，用于利用卷積塊對圖片進行淺層特征提??；

所述下采樣模塊，用于利用M池化提取圖片深層次的語義信息；

所述注意力模型，用于增加圖片的語義信息和顏色信息的關注度；

所述上采樣模塊，用于利用卷積塊恢復特征圖的大小；

所述圖像重建模塊，用于利用卷積塊和T型函數重建紅外彩色化圖像。

可選的，鑒別器包括多個卷積塊、歸一化層和L型函數。

可選的，第一紅外圖像數據集為RGB-NIR數據集。

可選的，在訓練網絡模型中預設閾值包括損失函數預設值、訓練次數預設值。