[發明專利]一種基于密集連接網絡的圖像超分辨率方法

有效

• 申請號: 201710193665.2
• 申請日: 2017-03-28
• 公開（公告）號: CN106991646B
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

本發明公開一種基于密集連接網絡的圖像超分辨率方法，通過加大卷積神經網絡的深度，在深度網絡中引入大量的跳躍式連接，有效解決深度網絡反向傳播時的梯度消失問題，優化了信息在網絡上的流動，提升了卷積神經網絡的超分辨率重建能力。同時，本發明也有效結合了底層特征和高層抽象特征，減少模型參數，壓縮了深度網絡模型，從而提高了圖像超分辨率的重建效率。此外，通過引入深度監督技術，在網絡的不同深度都能重建超分辨率圖像，不僅優化了深度網絡的訓練，并且在測試時可以根據測試端的計算能力選擇適當的網絡深度重建高清圖像。最后，本發明利用了多個放大倍數的圖像集進行訓練，獲得的模型可以在多個尺度上進行圖像超分辨率，而不用針對每一個放大倍數訓練不同的模型。

技術領域

本發明涉及計算機視覺領域與人工智能技術，尤其涉及一種基于密集連接網絡的圖像超分辨率方法。

背景技術

在計算機視覺領域，大部分的問題都已經開始使用深度神經網絡進行解決，并取得了廣泛的成功。在眾多的計算機視覺任務中，如人臉識別、目標檢測與跟蹤、圖像檢索等，使用深度神經網絡模型的算法，比傳統算法的性能有著極大的提升。在圖像的超分辨率重建任務中，最新的工作也已經開始利用卷積神經網絡的非線性特征表示能力，提高圖像超分辨率的重建效果。經對對現有技術的文獻檢索發現，專利名稱“一種圖像超分辨率重建方法”(中國專利公開號CN105976318A，公開日為2016.09.28)和專利名稱“基于學習率自適應的卷積神經網絡圖像超分辨率重建方法”(中國專利公開號CN106228512A，公開日為2016.12.14)使用了深度學習的方法來進行圖像超分辨率重建，并取得比傳統插值方法更好的重建結果。然而，此專利只采用了3層的卷積神經網絡結構，其非線性的特征表示能力和圖像重構能力有限。最新的神經網絡模型如AlexNet、VGG和ResNet等主要在“寬度”與“深度”方面進行不同程度的擴增，網絡的性能就會得到很大的提升。因此，研究并設計一個更深的網絡模型對于提升圖像超分辨率的重建性能會有極大地幫助。

最簡單加深網絡模型的方式是把基本構建塊(例如卷積層和激活層)堆疊在一起。然而，當網絡變得越來越深，其訓練和收斂難度也隨之相應增加。在網絡模型的訓練過程中，梯度信號需要從網絡最頂層反向傳播到最底層，從而更新網絡模型參數。對于傳統的只有幾層的神經網絡模型來說，可以通過這種方式達到收斂。然而，對于訓練有幾十層的網絡模型，當反向傳播到網絡的最底層時，梯度信號已經消失得差不多，底層網絡的模型參數不能得到有效的更新和優化。所以，如果采用這種直接堆疊的方式，反而會導致算法性能的下降。為了能夠有效訓練深度網絡，2016年在國際會議CVPR上提出的VDSR算法采用了梯度剪切和殘差學習等技術，使得20層的卷積神經網絡模型能夠有效優化并收斂，比之前的幾層網絡模型(如中國專利CN105976318A和CN106228512A)的超分辨率重建性能有了極大地提升。但是VDSR算法仍然是把卷積層和激活層簡單堆疊在一起，不利于梯度信息的流動，給優化更深的網絡帶來困難。同時，這種簡單的堆疊方式不能有效地利用每層訓練出來的特征，而且網絡模型參數也很龐大。例如，VDSR算法的20層網絡就需要70多萬的模型參數，不僅給優化帶來困難，也增大了超分辨率重建時的計算復雜度。

最近提出的殘差網絡結構ResNet和密集網絡結構DenseNet等方法通過在網絡中引入跳躍連接，從而來試圖解決極深網絡在優化上帶來的問題。通過大量引入跳躍式連接，可以有效縮短底層網絡和頂層網絡之間的連接通道，這樣能夠優化信息在網絡上的流動，從而有效解決深度網絡的梯度消失問題。此外，密集網絡結構可以支持特征重用，能夠強化特征的傳播，并減少模型的參數，降低模型的計算復雜度。本發明充分利用了密集網絡的優勢，并首次應用在圖像超分辨率的任務中，提出SRDenseNet算法，極大地提升了深度網絡在圖像超分辨率上的重建性能。同時，本發明提出的SRDenseNet算法結合了深度監督技術，使得網絡模型各層參數能夠更加有效快速的收斂，加快了訓練速度，并進一步提升網絡模型的超分辨率重建性能。此外，本發明提出的算法融合了多尺度信息，使得訓練得到的網絡模型可以對多個超分辨率放大倍數進行有效重建。

發明內容