[發明專利]一種基于深度學習的紅外圖像超分辨率重建方法

有效

• 申請號: 202010734945.1
• 申請日: 2020-07-28
• 公開（公告）號: CN112001843B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 陳錢;展夢靈
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T11/00;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

本發明公開了一種基于深度學習的紅外圖像超分辨率重建方法，首先將紅外視頻轉化成連續的多幀紅外圖像并進行紅外圖像增強預處理，獲得對比度更高、視覺效果更好的紅外圖像；同時建立基于深度學習的圖像超分辨率重建算法模型；基于該模型，利用可見光數據集進行模型訓練得到高低分辨率圖像之間的關系模型；將紅外圖像輸入該模型進行超分辨率重建，獲得高分辨率的紅外圖像；最后整合紅外圖像得到信息更豐富的紅外圖像視頻。本發明在紅外圖像的質量優化上具有十分優秀的效果，同時可以快速地將低質量的紅外視頻轉換成高質量的視頻，在軍事、醫學、安防等領域具有十分重要的作用。

技術領域

本發明屬于圖像處理領域，具體涉及一種基于深度學習的紅外圖像超分辨率重建方法。

背景技術

隨著紅外成像技術的不斷發展，紅外圖像在軍事、醫學、公共安全等領域具有十分重要的作用。然而，紅外圖像相比可見光圖像具有對比度低、細節信息不足、邊緣模糊等特點，在實際應用中仍然存在很多問題。因此，對紅外圖像成像質量的優化成為了圖像處理領域十分重要的分支。但是，直接通過紅外成像設備獲得高質量圖片的過程往往存在很多干擾，對成像設備的要求也很高，這也意味著更高的硬件成本。所以，將圖像超分辨率方法應用到紅外圖像上、對紅外圖像進行超分辨率重建從而獲得更高的成像質量將是一個必要手段。

近幾年，在可見光領域，已有大量科研工作者基于深度學習提出了許多超分辨率圖像的算法，往往可以獲得較好的成像結果。Dong C.et al.在2014年首次提出基于深度學習的圖像超分辨率算法SRCNN，2015年何凱明提出了殘差網絡結構ResNet，解決了網絡結構較深時無法訓練的問題。這些算法提出將采集到的高分辨率圖像進行壓縮獲得低分辨率圖像，再進行圖像重建，最后將獲得的超分辨率圖像與原圖像進行比較，從而了解算法的圖像重建能力。但是，基于紅外圖像本身分辨率較低、細節信息不足的特點，利用獲得的紅外圖像進行壓縮將進一步減少圖像中的有用信息，不利于圖像的重建；同時，目前并不存在相對權威的紅外標準數據集，所以，很難利用紅外圖像數據集建立高低分辨率圖像之間的模型。

發明內容

本發明的目的在于提供一種基于深度學習的紅外圖像超分辨率重建方法，解決紅外圖像本身具有的對比度低、分辨率低、視覺效果差等問題。

實現本發明目的的技術解決方案為：一種基于深度學習的紅外圖像超分辨率重建方法，步驟如下：

步驟1、采集一段紅外視頻，將其分為若干幀紅外圖像，轉入步驟2；同時基于通道注意力機制殘差學習圖像超分辨率重建算法，建立低分辨率圖像與高分辨率圖像之間的關系模型，轉入步驟3；

步驟2、將若干幀紅外圖像分別進行圖像增強預處理，獲得各幀對應的增強圖像R(x，y)，轉入步驟4；

步驟3、利用可見光數據集學習低分辨率圖像與高分辨率圖像之間的關系模型，獲得圖像超分辨率重建模型，轉入步驟4；

步驟4、將各幀對應的增強圖像R(x，y)依次輸入圖像超分辨率重建模型，進行超分辨率重建，從而得到分辨率更高的紅外圖像，轉入步驟5；

步驟5、將各幀重建后的紅外圖像進行整合輸出，得到信息更為豐富的紅外圖像視頻。

本發明與現有技術相比，其顯著優點在于：

1)本發明基于深度學習的思想，利用可見光數據集進行高低分辨率圖像之間的模型訓練，利用該模型進行紅外圖像的超分辨率重建，大大降低了對紅外成像設備的成像技術要求；2)本發明通過對紅外視頻中的每一幀圖像進行處理，可以快速獲得成像質量更佳的紅外視頻，利于監測和追蹤；3)本發明的方法對夜視紅外圖像也同樣具有較高的圖像信息識別能力；4)本發明的方法數據可靠，易于實施，操作簡單。

附圖說明

圖1是本發明一種基于深度學習的紅外圖像超分辨率重建方法的流程圖。

圖2是本發明基于通道注意力機制的殘差學習圖像超分辨率重建算法示意圖。