[發明專利]基于可見光圖像訓練的紅外圖像超分辨率重構方法及應用

有效

• 申請號: 202110618404.7
• 申請日: 2021-06-03
• 公開（公告）號: CN113222825B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陶然;馬鵬閣;楊小冬;劉兆瑜;李偉;揭斐然
• 申請（專利權）人: 北京理工大學;鄭州航空工業管理學院;中國航空工業集團公司洛陽電光設備研究所
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06V10/50;G06V10/46;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 茍銘

1.基于可見光圖像訓練的紅外圖像超分辨率重構方法，其特征在于：通過訓練完成的重構模型對紅外圖像進行超分辨率重構，其中所述重構模型基于含有注意力機制的密集殘差卷積神經網絡構建，其訓練集由尺寸相等的高分辨率可見光圖像塊及其低分辨率圖像塊組成；其中，所述高分辨率圖像塊通過將灰度化后的可見光圖像分塊得到；所述低分辨率圖像塊通過將所述高分辨率圖像塊進行雙三次插值得到；所述重構模型包括以下結構：

輸入層，與所述輸入層連接的由第一類卷積層與激活函數層組成的淺層特征提取模塊，與所述淺層特征提取模塊連接的、由密集注意力殘差塊組成的深層特征提取模塊，與所述輸入層、所述淺層特征提取模塊及所述深層特征提取模塊連接的融合函數層，與所述融合函數層連接的、由第一類卷積層與激活函數層組成的映射模塊，與所述映射模塊連接的、由第三類卷積層形成的輸出模塊，其中：

所述第一類卷積層包括64個卷積核；

所述密集注意力殘差塊包括5個注意力殘差塊，其共同構成密集注意力殘差塊，每個注意力殘差塊依次包括第一類卷積層、激活函數層、第二類卷積層及一個注意力塊，所述注意力塊采用CBAM注意力模型；

所述融合函數層由一個add函數構成，對特征進行融合；

對所述重構模型的訓練的過程包括：

S21：通過所述淺層特征提取模塊的第一類卷積層對輸入的所述低分辨率圖像塊進行第一卷積處理，并通過激活函數對卷積后的圖像特征進行提取，輸出圖像的淺層特征圖；

S22：將提取到的淺層特征圖輸入至所述深層特征提取模塊的多個注意力殘差塊中，同時每個注意力殘差塊的輸入還包括其之前的全部注意力殘差塊的輸出，經密集注意力殘差塊對特征進行深入挖掘，提取得到圖像的深層特征圖；

S23：將所述低分辨率圖像塊、所述淺層特征圖及所述深層特征圖通過融合層進行融合，得到融合圖；

S24：將所得融合圖輸入映射模塊，經映射模塊的卷積層與激活函數處理后，實現由低分辨率圖像到高分辨率圖像映射，得到映射圖；

S25將所得映射圖輸入輸出模塊，經其中的第三類卷積層的處理完成超分辨率圖像的重構，得到重構圖像；

S26將所述重構圖像與其對應的所述高分辨率圖像塊進行對比，通過損失函數進行斷迭代，得到優化后的重構模型。

2.根據權利要求1所述的重構方法，其特征在于：所述雙三次插值為n倍雙三次插值，其中n＝2、3或4。

3.根據權利要求1所述的重構方法，其特征在于：所述重構模型中，所述第一類卷積層的卷積核大小為64*3*3、卷積步長為1*1；和/或，所述第二類卷積層的卷積核大小為128*3*3、卷積步長為1*1；和/或，所述第三類卷積層的卷積核大小為1*3*3、卷積步長為1*1；和/或，所述激活函數層由ReLU激活函數構成。

4.根據權利要求1所述的重構方法，其特征在于：所述損失函為如下的MSE損失函數：

其中，表示所述重構圖像，表示所述高分辨率圖像塊。

5.根據權利要求1所述的重構方法，其特征在于：所述訓練過程還包括：以低分辨率紅外圖像作為測試集對所述優化后的重構模型進行測試，并根據測試結果調整訓練參數或模型參數，得到訓練完成的重構模型。

6.權利要求1-5中任一項所述的重構方法在機載紅外圖像的超分辨率重構中的應用，其特征在于：通過所述訓練完成的重構模型對機載紅外圖像進行超分辨率重構。