[發(fā)明專利]一種基于多尺度殘差層級密連接網(wǎng)絡的圖像超分辨率方法

有效

• 申請?zhí)枺?/td>: 202110043244.8
• 申請日: 2021-01-13
• 公開（公告）號: CN112699844B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設計）人: 嚴伊彤;劉闖闖;金龍存;彭新一
• 申請（專利權(quán)）人: 華南理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/776;G06N3/0464;G06N3/084;G06N3/048
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發(fā)明公開了一種基于多尺度殘差層級密連接網(wǎng)絡的圖像超分辨率方法。所述方法包括以下步驟：制作訓練數(shù)據(jù)集、驗證數(shù)據(jù)集；建立多尺度殘差層級密連接網(wǎng)絡模型；初始化多尺度殘差層級密連接網(wǎng)絡模型，確定損失函數(shù)，選取優(yōu)化器，設置訓練的參數(shù)；訓練多尺度殘差層級密連接網(wǎng)絡模型，每個epoch使用驗證集來測試模型的性能，得到訓練好的多尺度殘差層級密連接網(wǎng)絡模型；獲取測試數(shù)據(jù)集，將測試數(shù)據(jù)集輸入訓練好的多尺度殘差層級密連接網(wǎng)絡模型中執(zhí)行測試，生成超分辨率圖像；計算生成的超分辨率圖像與真實的高分辨率圖像之間的峰值信噪比和結(jié)構(gòu)相似度。

技術領域

本發(fā)明涉及計算機視覺領域，具體涉及一種基于多尺度殘差層級密連接網(wǎng)絡的圖像超分辨率方法。

背景技術

隨著科技的進步和設備的更新，智能手機、數(shù)碼相機等設備在生活中十分常見，人們常常使用這些成像設備來記錄和分享生活，高清的圖像和視頻能記錄更多更清晰的人物風景。此外，在遙感衛(wèi)星圖像、交通監(jiān)控、安防、醫(yī)療、軍事偵察等領域，圖像和視頻是重要的記錄載體，高質(zhì)量的圖像和視頻起著至關重要的作用。同時，在計算機視覺的高階任務中，高質(zhì)量的圖像和視頻有助于提升任務的性能。

圖像是一種重要的信息載體，而圖像分辨率是衡量圖像質(zhì)量的重要標準之一，指圖像中存儲的信息量，是每英寸圖像內(nèi)包含的像素點數(shù)目。分辨率較高的圖像包含更多像素點，提供更多的細節(jié)和紋理信息，能滿足各個領域中的需求。但是在實際生活中，由于成像設備的物理限制、拍攝條件不足、網(wǎng)絡帶寬限制、網(wǎng)絡傳輸可能存在信息損失等原因，得到的圖像質(zhì)量往往不高。圖像超分辨率主要指通過軟件技術來提高圖像的分辨率，提高圖像的質(zhì)量。這項技術比通過硬件手段來增強圖像分辨率更為簡單、經(jīng)濟、易行。因此研究先進的圖像超分辨率技術具有重要的意義和廣泛的應用。

圖像超分辨率是指從給定的低分辨率圖像中恢復出高質(zhì)量的高分辨率圖像。圖像插值通過插值方法來增大圖像的尺寸，雖然重建的速度比較快，但是重建出來的圖像往往不能滿足需求。近年來，具有強大學習能力的深度學習廣泛應用于計算機視覺領域，并取得巨大的進步。董超等人在2014年提出論文SRCNN(Dong?C,et?al.“Image?Super-ResolutionUsing?Deep?Convolutional?Networks”)首次將深度卷積神經(jīng)網(wǎng)絡應用到圖像超分辨率任務中，利用神經(jīng)網(wǎng)絡端對端地學習低分辨率圖像與高分辨率圖像之間的映射關系，比傳統(tǒng)的基于學習的方法，如基于稀疏表示的圖像超分辨率(Yang?et?al“Image?super-resolution?via?sparse?representation”)，取得更好的重建效果和較快的重建速度。隨后，大量的基于卷積神經(jīng)網(wǎng)絡的圖像超分辨率方法，如LapSRN(La,et?al.“Deep?LaplacianPyramid?Networks?for?Fast?and?Accurate?Super-Resolution”.)、EDSR(Lim?B,et?al.“Enhanced?Deep?Residual?Networks?for?Single?Image?Super-Resolution.”)、RDN(Zhang?et?al.“Residual?Dense?Network?for?Image?Super-Resolution”)被提出來，重建質(zhì)量也不斷提高。

圖像中尺度信息對圖像超分辨率也是重要的，不同的物體需要不同的尺度信息；另一方面，多數(shù)圖像超分辨率網(wǎng)絡結(jié)構(gòu)對于多層級的神經(jīng)網(wǎng)絡特征利用不充足，不同的層級特征具有不同的感受野和包含不同的信息，這些網(wǎng)絡忽略了層級特征之間的相互作用。

本發(fā)明根據(jù)圖像超分辨率重建的特點和圖像的特性設計了基于多尺度殘差層級密連接的圖像超分辨率方法，使用兩層密連接的結(jié)構(gòu)來提取多層次的特征，增強梯度傳播，優(yōu)化網(wǎng)絡中的信息傳播和重用，使用多尺度模塊來提取不同尺度的信息，使用多個殘差連接來穩(wěn)定網(wǎng)絡的訓練，提高網(wǎng)絡的重建性能。

發(fā)明內(nèi)容

本發(fā)明為了解決上述的技術問題提供了一種基于多尺度殘差層級密連接網(wǎng)絡的圖像超分辨率方法，涉及到圖像超分辨率重建方法的改進、多尺度殘差層級密連接網(wǎng)絡在圖像超分辨率領域的實現(xiàn)與應用。