[發明專利]一種基于知識蒸餾的圖像超分辨率增強方法

有效

• 申請號: 201810603516.3
• 申請日: 2018-06-12
• 公開（公告）號: CN108830813B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 高欽泉;趙巖;童同
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06T7/90;G06N3/04
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

本發明公開一種基于知識蒸餾的圖像超分辨率增強方法，其包括以下步驟：1）訓練數據和測試數據的獲取；2）教師網絡的訓練；教師網絡擁有較深卷積層的神經網絡模型，3）學生網絡的訓練；4）教師網絡對學生網絡的指導學習；通過三組指導實驗由學生網絡學習吸收教師網路的特征圖；5）測試評估圖像重建效果；6）根據輸出特征圖之間不同的矩陣關系對學生網絡進行進一步指導。本發明利用知識蒸餾的相關思想，將教師網絡的性能傳遞給學生網絡，學生網絡模型可以高效地運行在低功耗限制的移動設備和嵌入式設備上，學生網絡網絡結構不變的前提下，經過教師網絡指導后的學生網絡的PSNR有顯著提升，得到更好的重建效果。

技術領域

本發明涉及計算機視覺和深度學習領域，尤其涉及一種基于知識蒸餾的圖像超分辨率增強方法。

背景技術

超分辨率(Super Resolution,SR)是計算機視覺中的一個經典問題，單圖像超分辨率(Single Image Super-Resolution,SISR)的目的是利用數字圖像處理等方法，從單個低分辨率(Low-Resolution,LR)圖像中恢復出與其對應的高分辨率(High-Resolution,HR)圖像。在超分辨率問題中，假設低分辨率圖像為X，我們的目標是恢復一個盡可能與真實(Ground Truth,GT)圖像Y相似的超分辨率圖像Y′。

傳統的基于插值的放大方法，包括雙線性插值(Bilinear Interpolation)和雙立方插值(Bicubic Interpolation)等，使用固定的計算公式，利用低分辨率圖像當中的鄰域像素信息進行加權平均，計算出放大的高分辨圖像中所缺失的中間像素，但是這種簡單的插值算法不會產生更多具有高頻信息的圖像細節。

Dong^[1]等人提出的超分辨率卷積神經網絡算法(Super-Resolution ConvolutionNeural Network,SRCNN)首次將卷積神經網絡應用在圖像超分辨率中，它直接學習輸入低分辨率圖像和相應的高分辨率圖像之間端到端的映射關系。SRCNN很好地說明了深度學習在超分辨率問題中是有效的，能夠重建很多高頻的圖像細節信息。Kim^[2]等人受VGG-net^[3]的啟發，在超分辨率問題中使用非常深的卷積神經網絡(Image Super-Resolution UsingVery Deep Convolution Networks,VDSR)，VDSR的網絡結構由20個卷積層組成，更多的卷積層擁有更大的感受野，可以使用更多的圖像鄰域信息來預測圖像高頻細節，因此會有更好的超分辨率重建效果。Lim^[4]等人受SRResNet^[5]的啟發提出了更深的增強型深度殘差網絡(Enhanced Deep Residual Networks For Single Image Super-Resolution,EDSR)，優化了SRResNet的結構，得到更好的超分辨率重建效果。

從學術界之前的工作可以看出，隨著網絡深度的增加，圖像的重建效果越好。雖然增加網絡的深度可以帶來更好的超分辨率重建效果，但是同時運算量和內存消耗也會增加，在很多實際的應用場景中(例如移動端和嵌入式等低功耗的限制條件下)，無法實時運行很深的卷積神經網絡模型。

發明內容

本發明的目的在于提供一種基于知識蒸餾的圖像超分辨率增強方法，在不改變小卷積神經網絡模型結構的前提下，提升網絡模型的圖像超分辨率重建效果，從而能夠在移動端和嵌入式端上高效地運行基于卷積神經網絡的超分辨率模型。

本發明采用的技術方案是：

一種基于知識蒸餾的圖像超分辨率增強方法，其包括以下步驟：

1)訓練數據和測試數據的獲??；

1-1)訓練集選擇DIV2K和Flickr2K，一共包括3450張真實圖像，測試集分別選擇了國際公開數據集Set5,Set14,BSDS100,Urban100；