[發明專利]一種基于圖像超分辨損失函數的紅外圖像細節增強方法

有效

• 申請號: 202010645997.1
• 申請日: 2020-07-07
• 公開（公告）號: CN111951177B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 徐之海;楊一帆;馮華君;李奇;陳躍庭
• 申請（專利權）人: 浙江大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于圖像超分辨損失函數的紅外圖像細節增強方法。采用基于深度學習的紅外圖像超分辨網絡對圖像的特征進行提取，將提取的特征用來描述紅外圖像的主要信息，構建損失函數對基于深度學習的紅外圖像超分辨網絡進行訓練，然后再利用訓練后的紅外圖像超分辨網絡進行圖像特征提取，得到紅外超分辨圖像。本發明能減小超分辨圖像與真實紅外圖像高層特征之間的差異，從而提高圖像超分辨的效果。

技術領域

本發明屬于深度神經網絡提取圖像特征的深度學習領域的一種圖像增強方法，具體是涉及到神經網絡、圖像超分辨等融合的一種紅外圖像細節增強的圖像超分辨損失函數。

背景技術

隨著深度學習技術的發展，越來越多的深度學習算法被應用于各個領域，二基于深度學習的圖像超分辨技術已經成為當今人工智能領域的研究熱點。

圖像超分辨率重建旨在通過一幅或者多幅低分辨率圖像,恢復對應的較高分辨率的圖像。圖像超分辨技術有廣泛的應用，例如熱分析、視頻監控、醫療診斷和遠程遙感等，由于紅外圖像硬件的限制，很難獲得高質量的高分辨率紅外圖像，導致紅外圖像的應用受到局限。因此通過圖像超分辨算法提高圖像的分辨率和圖像質量是非常簡潔高效的一種方式。然后現有的紅外圖像超分辨技術還存在一些困難，由于紅外圖像的信噪比比較低，并且在拍攝過程中容易出現非常多的噪聲，造成在基于深度學習的紅外圖像超分辨網絡訓練過程中圖像恢復質量差的問題，為了解決這一問題，一種紅外圖像細節增強的圖像超分辨損失函數被提出。

解決上述問題的關鍵就是設計一個紅外圖像細節增強的圖像超分辨損失函數，在基于深度學習的紅外圖像超分辨網絡訓練過程中，能夠對紅外圖像的細節進行更好的優化，從而提高圖像超分辨生成的圖像質量。

發明內容

本發明克服了現有技術的不足之處，提出了一種紅外圖像細節增強的圖像超分辨損失函數，意在利用紅外圖像細節增強的圖像超分辨損失函數進行圖像超分辨模型的訓練，提高現實場景匯總圖像超分辨生成圖像的細節恢復。

本發明為達上述發明目的，采用如下技術方案：

(1)準備紅外圖像超分辨訓練數據集、紅外圖像超分辨測試數據集；

(2)構建基于卷積神經網絡的紅外圖像超分辨網絡結構，

(3)將紅外圖像超分辨訓練數據集輸入到步驟(2)構建的基于卷積神經網絡的紅外圖像超分辨網絡中訓練，構建訓練過程中的損失函數，通過不斷地對紅外圖像超分辨網絡進行循環迭代訓練使損失函數不斷減小，直到完成設定的迭代次數Q，并將紅外圖像超分辨網絡進行保存；

(4)將紅外超分辨測試數據集利用步驟(3)中得到的紅外圖像超分辨網絡進行圖像特征提取，得到最終的紅外超分辨圖像。

訓練過程中的損失函數具體采用以下方式處理獲得：

(1)將真實紅外圖片通過索貝爾算子進行卷積獲得卷積后的圖片:

I_s＝conv_s(I_hr) (1)

其中，I_s為卷積后的圖片，conv_s為用索貝爾算子進行卷積的操作，I_hr為真實紅外圖片；

真實紅外圖片是指采用紅外相機拍攝的圖像，紅外超分辨圖像是指是原圖像分辨率整數倍的圖像。兩種圖像一起構建獲得作為訓練數據集。紅外超分辨測試數據集僅有待測的紅外圖片組成。

(2)將紅外圖像超分辨網絡每次訓練過程中生成的作為預測結果的紅外超分辨圖像、真實紅外圖片以及卷積后的圖片均分別輸入到預訓練好的VGG16網絡中進行特征提取，預訓練好的VGG16網絡是由現有已知數據集對VGG16網絡進行訓練獲得：