[發明專利]基于深層門限卷積神經網絡的圖像超分辨方法

有效

• 申請號: 201710303554.2
• 申請日: 2017-05-03
• 公開（公告）號: CN107154021B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 陳渤;劉明貴
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

本發明公開一種基于深層門限卷積神經網絡的圖像超分辨方法，主要解決現有技術在網絡加深時圖像超分辨效果會降低的問題。其實現步驟是：1.獲取成對的低分辨和高分辨圖像數據作為訓練數據；2.定義一種門限卷積層，用它取代現有的卷積層，構建一個端到端的深層門限卷積神經網絡；3.將訓練數據輸入深層門限卷積神經網絡用Adam優化方法進行訓練；4.利用訓練好的深層門限卷積神經網絡進行圖像超分辨。本發明有效的減小了深層神經網絡的梯度衰減的問題，實現了深層網絡的圖像超分辨應用，增強了圖像超分辨效果；提高了圖像超分辨的速度，可用于衛星遙感領域，醫學領域，交通監控及視頻壓縮。

技術領域

本發明屬于圖像處理技術領域，具體是一種圖像超分辨方法，可用于衛星遙感領域，醫學領域，交通監控領域以及視頻壓縮領域等。

背景技術

圖像超分辨是指從一個低分辨圖片中學習恢復出高分辨圖像的一種技術。相比較于低分辨圖像來說，高分辨圖像可以表達更多詳細的信息，其細節表達能力更強，因此，圖像超分辨在很多的領域都有著極大應用，如衛星遙感領域，醫學領域，交通監控領域，以及視頻壓縮領域等。

目前為止，圖像的超分辨方法主要有三個主要分類：基于插值，基于重建和基于學習的方法。而基于學習的方法由于引入了先驗信息的樣例，增加了更有效的約束，提高了重建圖像的準確性，所以在近幾年來取得了極大的發展，逐漸成為圖像超分辨的主流方法，而且其性能也遠遠超過了另外兩種方法。在基于學習的方法中大致又分為兩大方向：基于字典學習的方法和基于神經網絡的方法。

基于字典學習的方法主要是基于稀疏編碼的超分辨算法SCSR，它是由Yang等人就是從壓縮感知理論出發提出的，這種方法的流程是：首先從輸入圖像中有重合的提取圖像塊，并拉成一個向量，并進行減均值和歸一化的預處理；然后經過低分辨學到的字典進行編碼，學到他們的稀疏表示；接著，將稀疏參數對應到高分辨字典中，得到高分辨的圖像塊；最后，有重合的重構原圖，對重合部分取平均，就得到了最終的高分辨圖像。該方法的缺點是在應用時學習低分辨字典的稀疏表示的時候用時非常長。

基于神經網絡的方法中最典型的就是基于卷積神經網絡的圖像超分辨方法SRCNN，它是由Chao Dong等人在2015年提出的，方法中構建了一種基于三層卷積神經網絡的圖像超分辨模型，該模型是一個由低分辨圖像到高分辨圖像的端到端的映射。在應用過程中，由于不需要另外學習參數，所以用時短；但該方法的弊端是在網絡的層數加深時模型的學習效果會下降。

發明內容

本發明的目的在于針對上述現有技術的不足，提出了一種基于深度門限卷積神經網絡的圖像超分辨方法，以加快圖像超分辨的速度，提高圖像超分辨的性能。

本發明的技術方案是對原有的SRCNN方法進行改進，其一方面，是用門限卷積層取代傳統的卷積層；另一方面，將原有三層網絡的拓展到了更多層，其具體的實現步驟如下：

1)獲取成對的低分辨和高分辨圖像數據：

對自然圖像先進行下采樣處理，然后再用雙線性三次插值法，得到與之對應的低分辨圖像，最后隨機采樣，得到大小相同的成對低分辨圖像和高分辨圖像作為訓練數據；

2)對基于卷積神經網絡的圖像超分辨模型SRCNN進行改進，構建一個端到端的深層門限卷積神經網絡：

2a)定義一種門限卷積層，并用它來代替SRCNN中的卷積層，得到淺層的門限卷積神經網絡；

2b)將淺層的門限卷積神經網絡拓展到更多層神經網絡，且最后一層采用反卷積神經網絡重構高分辨圖像，得到多層門限卷積神經網絡和一層反卷積神經網絡級聯的深層門限卷積神經網絡；

3)用Adam優化方法對深層門限卷積神經網絡進行訓練：