[發明專利]一種基于信息過濾網絡的圖像超分辨實現算法

在審

• 申請號: 201910357438.8
• 申請日: 2019-04-29
• 公開（公告）號: CN110223224A
• 公開（公告）日: 2019-09-10
• 發明（設計）人: 龍飛;胡建國;張海;譚大倫;周明
• 申請（專利權）人: 杰創智能科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 譚昉

本發明公開了一種基于信息過濾網絡的圖像超分辨實現算法，包括特征提取模塊、多個疊加的信息過濾模塊和重構模塊；特征提取模塊首先從低分辨率圖像中提取特征，然后，將多個信息過濾模塊疊加，逐步提取剩余信息，最后，重構模塊將得到的高分辨率殘差特征表示進行聚合，生成殘差圖像；對剩余圖像和上采樣的低分辨率圖像進行元素級別的逐項加法運算。本發明的基于信息過濾網絡的圖像超分辨實現算法，由于每層濾波器數目相對較少，并且使用了群卷積，因此該網絡算法具有執行速度快的優點。

技術領域

本發明涉及圖像超分辨實現技術，具體涉及一種基于信息過濾網絡的高效圖像超分辨實現算法。

背景技術

目前，基于圖像的超分辨率得到了廣泛的研究，目前較為主流方法是基于神經網絡以及基于示例的方法。

基于自示例的方法利用自相似特性，僅從不同尺度的低分辨率圖像中提取示例對。這種方法通常在包含重復模式和紋理的圖像中效果良好，但缺乏輸入圖像外部語義信息的豐富性，無法對其他類的圖像產生滿意的預測。基于外部示例的方法從外部數據集學習低分辨率和高分辨率對之間的映射。這類方法通常側重于如何學習一個密集的字典或流行空間來關聯低分辨率/高分辨率對之間的映射，如最鄰近算法，流形嵌入算法，隨機森林和稀疏表示等。雖然這些方法是有效的，但是提取的特征和映射函數不是自適應的，并不是生成高質量超分辨率圖像的最好方法。

最近，受到許多計算機視覺任務的成就與深度學習解決，神經網絡已經取得了戲劇性的改善。有學者首先利用卷積神經網絡，利用多層網絡共同優化特征提取，非線性映射和圖像重建都建立在一個端到端的方式上。之后，又有學者提出了一種高效的基于子像素的卷積神經網路，它提取低分辨率空間中的特征映射，并用高效的子像素卷積代替三雙次上采樣操作。也有學者提出了一種具有全局殘差架構的深度卷積神經網絡模型，該種模型利用了大圖像區域上的語義信息，實現了優越的性能。

然而，隨著網絡深度和寬度的增加，基于卷積神經網絡的超分辨率方法在實際應用中面臨著計算復雜度和內存消耗的挑戰。

圖像超分辨率重構是計算機視覺中的一個經典難題，實際上，無限多的高分辨率圖像可以通過下采樣得到相同的低分辨率圖像。因此，超分辨問題本質上是不適定的，不存在唯一的解決方案。為了緩解這一問題，研究學者提出了大量的方法，包括基于插值的方法，基于重構的方法和基于實例的方法。由于前兩種方法通常在較大的放大因子的作用下恢復性能呈現急劇性下降，因此近年來的超分辨率方法主要采用基于實例的方法，試圖從低分辨率和高分辨率對中學習先驗知識。近年來，由于深度卷積神經網絡的強大，許多基于卷積神經網絡的超分辨率方法都試圖訓練深度網絡以獲得更好的重構性能。有學者提出一個20層的卷積神經網絡模型VDSR，該模型采用殘差學習和自適應梯度裁剪來緩解訓練難度。VDSR由于模型參數量較大，控制效果不佳。因此為了控制模型參數，又有學者提出了DRCN模型，采用遞歸層的方法構建了深度遞歸卷積網絡。還有學者為了降低訓練難度，提出了一個非常深度的殘差編碼器-解碼器網RED，該網絡由一系列卷積層和后續的轉置卷積層組成，學習從低分辨率圖像到真值圖像的端到端映射。而后，又有學者提出了一種深度遞歸殘差網絡，該網絡采用參數共享策略來緩解非常深的網絡對大量參數的需求。雖然取得了突出的性能，但大多數深度網絡仍然存在一些缺陷。首先，為了獲取更好的性能，深度或者寬度擴展的網絡結構已經成為一種設計趨勢。但結果是，這些方法需要大量的計算成本和內存消耗，在實際應用中并不適用，如在移動終端和嵌入式的視覺應用中。此外，傳統的卷積網絡通常采用級聯網絡拓撲，如VDSR和DRCN，這樣，每一層的映射特征就可以毫無區別地發送到相繼的層次當中。然而，自適應地重新校準通道特征響應可以提高網絡的表征能力。

發明內容

本發明的主要目的在于提供一種基于信息過濾網絡的圖像超分辨實現算法。

本發明采用的技術方案是：一種基于信息過濾網絡的圖像超分辨實現算法，包括特征提取模塊、多個疊加的信息過濾模塊和重構模塊；