[發明專利]一種紅外圖像超分辨率重建方法

在審

• 申請號: 202011514281.4
• 申請日: 2020-12-21
• 公開（公告）號: CN112561799A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 胡蕾;李云洪;王足根;羅斌
• 申請（專利權）人: 江西師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 南昌市平凡知識產權代理事務所 36122
• 代理人: 夏材祥

本發明公開一種紅外圖像超分辨率重建方法，首先構建GAN網絡模型，然后對所構建的GAN網絡模型進行訓練，優化GAN網絡模型中的參數。本發明在生成網絡中引入密集殘差網絡以及漸進式上采樣方式，獲取各網絡層提取的圖像特征以保留圖像更多的高頻信息，提高了超分辨重建圖像中的細節特征。提出的基于GAN網絡的超分辨率重建方法，在GAN網絡的生成網絡中應用殘差密集網絡獲取各網絡層提取的圖像特征，保留了圖像更多的高頻信息，并采用漸進式上采樣方式，提升了大縮放因子下超分辨率重建效果。

技術領域

本發明屬于數字圖像處理技術領域，適用基于殘差密集網絡和漸進式上采樣的圖像超分辨率重建，尤其涉及一種基于GAN網絡的單幀紅外圖像超分辨率重建方法。

背景技術

熱紅外成像儀因可遠距離感知對象的溫度信息、不受光線限制等優點，廣泛應用于設備檢測、夜間監測等，但其根據溫度所獲得的紅外圖像，相對于可見光圖像，分辨率較低。紅外圖像的超分辨率重建對于提高設備故障分析精度、目標檢測精度等具有重要意義。

圖像超分辨率重建技術從圖像源角度可以分為單幀和多幀。單幀圖像超分辨率重建技術主要是針對一幅獨立的低分辨率圖像重建獲得獨立的高分辨率圖像，而多幀圖像超分辨率圖像技術主要針對連續的相互關聯的低分辨率圖像重建獲得連續的相互關聯的高分辨率圖像。相對而言，多幀圖像超分辨率重建因可獲得更多的關聯信息，重建效果相對于單幀圖像超分辨率重建效果好；單幀圖像超分辨率重建相對于多幀圖像超分辨率重建難度大。

單幀圖像超分辨率重建技術主要可分為基于插值的方法、基于重構的方法和基于學習的方法?；诓逯档姆椒ㄊ菍⒚總€像素看作平面上的一個點，利用相鄰已知像素的信息對未知像素信息進行補全，一般是由插值核完成，典型的基于插值的方法有最近鄰插值法、雙線性插值法和雙立方插值法等，其復原后的圖像會出現模糊、鋸齒等現象。基于重構的方法指將運動形變、模糊及噪聲后的圖像復原成高分辨率圖像的過程，其原理是提取低分辨率圖像中的關鍵信息，結合先驗知識約束超分辨率圖像的重建，典型的方法有迭代反投影法、凸集投影法和最大后驗概率法等，其效果上會出現邊緣部分較模糊等現象。而目前主流的基于學習的方法是利用大量的訓練數據，從低分辨率圖像和高分辨率圖像之間學習到某種對應的映射關系，根據學習到的映射關系重建高分辨率圖像，常見的基于學習的方法包括流形學習、稀疏編碼和深度學習方法等，其中深度學習方法所重建的圖像在主觀評價和客觀評價方面都有較大的提升。利用多層卷積神經網絡實現的可見光圖像超分辨率重建方法，利用卷積神經網絡分別獲取低分辨率和高分辨率圖像的特征，通過大量學習獲得兩者的映射關系模型，重建出的高分辨率圖像質量比傳統bic方式有顯著的提高?；谏墒綄咕W絡(Generative AdversarialNetwork,GAN)的超分辨率重建方法，采用子亞像素卷積對經過卷積的低分辨圖像上采樣生成高分辨率圖像，經過判別網絡分析生成的高分辨率圖像和原始高分辨率圖像的相似性，并且利用感知損失取代最小均方差，使得生成圖像卷積得到的高層信息與原始圖像卷積得到的高層信息接近。殘差密集網絡是由殘差網絡和密集網絡組成，其中殘差網絡提取全局特征，密集卷積層提取局部特征，殘差密集網絡結合了殘差網絡和密集網絡的特性。

發明內容

本發明所要解決的技術問題在于提供一種單幀紅外圖像超分辨率重建方法，針對低分辨率紅外圖像，采用GAN網絡中的生成網絡來生成高分辨率紅外圖像，通過引入殘差密集網絡以及漸進式上采樣方式，更好地保留圖像的高頻信息以及提升大縮放因子效果，實現低分辨率圖像超分辨重建，獲得高分辨率紅外圖像。

為實現上述目的，本發明采用以下技術方案。一種紅外圖像超分辨率重建方法，其特征在于，首先構建GAN網絡模型，然后對所構建的GAN網絡模型進行訓練，優化GAN網絡模型中的參數；