[發明專利]一種基于生成對抗網絡的紅外圖像超分辨率重建方法

在審

• 申請號: 202010360557.1
• 申請日: 2020-04-30
• 公開（公告）號: CN111583113A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 賈海濤;周蘭蘭;賈宇明;許文波;羅欣;王磊;趙行偉;范世煒
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄧黎

本發明公開了一種基于生成對抗網絡的紅外圖像超分辨率重建方法，屬于計算機視覺領域。該方法對已有的算法SRGAN的生成網絡及損失函數兩個方面進行改進：在生成網絡結構的改進中，生成網絡結合傳統雙三次插值的方法；在損失函數的改進中，為了在有好的視覺效果的同時獲得高的客觀評價指標(峰值信噪比和結構相似度)，在生成網絡的損失函數中加入逐像素均方誤差損失。改進后的算法與原始SRGAN算法相比，重建后的圖像的低頻區域更加平滑，減少偽影，高頻細節更加清晰，并且客觀評價指標峰值信噪比PSNR和結構相似度SSIM都有提高。

技術領域

本發明屬于計算機視覺領域，具體涉及能夠獲得清晰的高頻細節的基于生成對抗網絡的紅外圖像超分辨率重建技術。

背景技術

紅外成像指的是一種使用探測器來接收目標物體反射的紅外線并且通過光電轉換來得到紅外圖像的一種技術。紅外成像技術在民用、軍事等領域都有諸多應用。紅外成像技術具有穿透霧霾煙塵能力強，探測距離遠，受外部光線影響小，對物體熱輻射敏感等優點。憑借這些優點紅外成像技術既可以在質量檢測和安全檢測等領域得到廣泛應用，又可以在煙霧遮擋或者光照條件差的環境中輔助可見光成像，全天時地工作。紅外圖像的分辨率主要由紅外成像系統中的核心器件紅外探測器來決定。紅外探測器的成像分辨率遠遠低于可見光探測器，這也導致了紅外成像存在空間分辨率低、信噪比低、對比度弱等缺點。這些缺點制約著紅外成像技術的發展，使其無法應用到對圖像質量要求高的領域。

紅外圖像超分辨率重建技術是指：通過計算機軟件與圖像處理算法相配合的方式，實現將現有的低質量及低分辨率紅外圖像(或運動序列)轉換為高質量及高分辨率紅外圖像(或運動序列)的技術。目前超分辨率技術在軍事、醫療和公共安全等領域中都擁有者廣泛的應用，例如：衛星成像、醫學圖像處理、視頻監控與刑偵分析等。

近年來，隨著人工智能的大力發展，使得針對深度神經網絡的研究產生了飛躍式的進展。深度學習技術與許多學科領域的結合都取得了引人注目的成果。在計算機視覺與圖像處理領域，將深度學習技術應用于紅外圖像超分辨率重建問題已成為當下及未來的一個主要的研究方向。

這類算法不需要使用插值處理操作或通過多幅圖像之間的映射關系以獲取高分辨率圖像，其憑借著優越的重建效果與理想的重建速率，迅速成為圖像超分辨率重建領域研究的熱點——通過卷積神經網絡將更多關鍵的圖像像素信息作為網絡模型的輸入，利用更加豐富的先驗知識作為條件約束，最終實現效果更加出色的超分辨率重建。因此，研究基于深度學習的圖像超分辨率重建算法有著重要且深遠的現實意義與應用價值。

目前為止，雖然基于卷積神經網絡的超分辨率重建方法在效果上與傳統方法相比有了大幅度的提升，但是鑒于模型對于超參數的變化較為敏感，以及在訓練期間網絡不穩定導致訓練困難等問題的存在，給超分辨率重建任務的順利完成帶來了一定的難度。因此，有學者們試圖尋找更加合適的模型以解決這些問題。作為當下深度學習技術與圖像超分辨率重建算法相結合的生成模型中，獲得圖像視覺效果最為顯著的基于生成對抗網絡的超分辨率模型，以感知損失函數作為優化目標，獲得了具有真實自然視覺效果的高分辨率圖像。但是，受限于圖像超分辨率重建問題自身的病態性以及生成模型結構設計上的不足與缺陷等原因，使得如何將生成圖像的細節特征更加真實而清晰的呈現出來成為目前基于生成對抗網絡的超分辨率重建技術尚待改進的重要環節。

2017年Twitter公司的Ledig等人在CVPR上發表的論文首次將生成對抗網絡應用于超分辨率重建問題中。論文名為SRGAN：Photo-Realistic Single Image Super-Resolution Using a GenerativeAdversarial即基于生成對抗網絡的圖像超分辨率重建模型。SRGAN由生成網絡、判別網絡和損失函數三部分組成。生成網絡用來生成高分辨率圖像，判別網絡則負責判斷輸入的圖像是原始的高分辨率圖像還是由生成網絡生成的高分辨率圖像。同時對兩個網絡進行訓練，兩個網絡之間屬于對抗關系，生成網絡要盡可能地生成可以騙過判別網絡的重建圖像，判別網絡則要努力判別出由生成網絡重建出的“假圖像”，最終達到生成網絡可以重建出判別網絡無法區分的重建高分辨率圖像的目的。