[發明專利]一種基于多尺度殘差層級密連接網絡的圖像超分辨率方法

有效

• 申請號: 202110043244.8
• 申請日: 2021-01-13
• 公開（公告）號: CN112699844B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 嚴伊彤;劉闖闖;金龍存;彭新一
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/774;G06V10/776;G06N3/0464;G06N3/084;G06N3/048
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.基于多尺度殘差層級密連接網絡的圖像超分辨率方法，其特征在于包括訓練流程以及測試流程，具體包括以下步驟：

S1、制作訓練數據集、驗證數據集；

采用DIV2K的800張2K圖像來制作成對的低分辨率-高分辨率圖像作為訓練數據集；使用NTIRE2017圖像超分辨率比賽中公開的數據集DIV2K數據集，其包含了1000張高質量的2K分辨率圖像，它們包含了豐富的場景，800張用于訓練網絡，100張用于驗證網絡的性能，剩余的100張用于測試網絡的重建能力；采用雙三次核插值的方法對2K圖像進行某一縮放倍數的下采樣處理，得到低分辨率圖像(LR)，與真實圖像(HR)構成訓練樣本對，用于訓練多尺度殘差層級密連接網絡模型；由于原始的圖像尺寸太大，直接輸入到網絡模型中去訓練會造成網絡模型計算量過大，減慢訓練速度，因此對低分辨率圖像進行隨機剪裁，將其裁剪為A×D大小的圖像塊，對應的高分辨率圖像裁剪為Ar×Dr，其中A和D分別代表著圖像塊的高度和寬度，將其裁剪為48×48大小的圖像塊，對應的高分辨率圖像裁剪為48r×48r，r為放大因子；為了增強訓練數據集中數據的多樣性和擴展數據量，對訓練數據集中的低分辨率圖像和高分辨率圖像進行翻轉和旋轉，包括90°、180°和270°；

所述驗證數據集采用Set5，由5張圖像組成，在網絡訓練過程用于評估生成網絡的重建性能，利于觀察生成網絡模型的收斂程度；

S2、建立多尺度殘差層級密連接網絡模型；

所述多尺度殘差層級密連接網絡模型包括淺層特征提取模塊、深層特征提取模塊和重建模塊；

所述淺層特征提取模塊包括一個3×3的卷積層，用于將3通道的輸入圖像轉換為64通道的淺層特征圖，如下所示：

H₀＝F_SF(I_LR)；

其中，H₀是淺層特征，而I_LR是輸入的低分辨率圖像，F_SF代表淺層特征提取模塊；

所述深層特征提取模塊包括M個多尺度殘差層級密連接塊、特征融合塊和全局跳躍連接，M設置為10；多尺度殘差層級密連接塊從淺層特征H₀中提取多尺度、多層次的深層特征，特征融合塊包括串聯層(concat)、1×1卷積層(Conv)和ReLu激活層，特征融合塊將提取的多尺度、多層次深層特征進行融合，全局跳躍連接將淺層特征傳遞到多尺度殘差層級密連接網絡模型中深層特征提取模塊的尾部，使得網絡模型的主要部分即多尺度殘差層級密連接塊專注于提取高頻信息，同時加快網絡模型的收斂速度，具體如下：

H_DF＝F_DF(H₀)＝H₀+F_GF([H₁，H₂，…，H_m，…，H_M])；

其中，H_DF是提取的深層特征，F_DF代表深層特征提取模塊，H_m是第m個多尺度殘差層級密連接塊提取的特征，F_GF代表特征融合塊，[·]代表串聯；

所述重建模塊包括上采樣塊和一個3×3卷積層，用于將提取的深層特征進行相應倍數的放大并重建出最終的高分辨率圖像I_SR；所述上采樣塊由3×3卷積層(Conv)、ReLu激活層、上采樣層(Upsampling?Layer)、3×3卷積層(conv)、ReLu激活組成，上采樣層采用亞像素層(sub-pixel?layer)，用于將提取的深層特征進行相應倍數的放大并重建出最終的高分辨率圖像I_SR，具體如下：

I_SR＝F_REC(H_DF)＝F_conv(F_up(H_DF))；

其中，F_REC代表重建部分，F_conv和F_up分別代表上采樣塊和卷積層；

所述多尺度殘差層級密連接塊包括層級密連接模塊、記憶單元、多尺度塊和局部跳躍連接；

所述層級密連接模塊用于提取多層次的特征，由K個次密連接塊以密連接的形式連接組成，K設為5，如下所示：

其中，是第m個多尺度殘差層級密連接塊中的層級密連接模塊提取的特征，代表第m個多尺度殘差層級密連接塊的層級密連接模塊，代表層級密連接模塊中的K個次密連接塊，S_k是第k個次密連接塊提取的特征，[·]代表串聯操作；

所述記憶單元用于將層級密連接模塊提取的特征整合起來，自適應地提取出統一的信息，同時減少特征圖的通道數量，從而減少多尺度殘差層級密連接塊中后續的層級密連接塊的計算量，如下所示：

其中，是第m個多尺度殘差層級密連接塊的記憶單元提取的特征；

記憶單元由一個1×1的卷積層組成，首先將前面的次密連接塊提取的特征圖進行串聯操作，經過1×1卷積進行特征壓縮，得到W×H×G大小的特征圖，其中W、H為低分辨率圖像塊的長、寬，G為增長率(growth?rate)，G設為64；

所述多尺度塊包括膨脹空間金字塔池化結構和跳躍連接；所述膨脹空間金字塔池化結構包括并行的1×1卷積、三個膨脹率分別為1、2、4的3×3卷積層、池化層，一個融合上述卷積層提取的特征圖的1×1的卷積層和跳躍連接，用于提取融合的特征中不同感受野下的特征，有助于提高整體網絡的重建性能；所述跳躍連接用于將記憶單元提取的特征與膨脹空間金字塔池化結構的輸出連接，有利于提高網絡的效率和穩定性；如下所示：

其中，代表第m個多尺度殘差層級密連接塊中的膨脹空間金字塔池化結構，是第m個多尺度殘差層級密連接塊的多尺度塊提取的特征；

第m個多尺度殘差層級密連接塊提取的特征H_m如下所示：

所述次密連接塊用于提取局部的多層次特征，包括特征壓縮塊、局部密連接組、融合塊、輸入跳躍連接和壓縮跳躍連接；

特征壓縮塊由一個3×3卷積層和ReLu組成，特征壓縮塊將次密連接塊的輸入特征進行通道數壓縮，以減少局部密連接組的計算量；所述局部密連接組的卷積層數由次密連接塊的輸入特征的通道數k×G所決定，G為增長率，設為64，局部密連接組由k-1個卷積塊組成，其中包括串聯、3×3卷積層和ReLu；如下所示：

其中，是第k個次密連接塊中的局部密連接組提取的特征，S_BLC是特征壓縮塊壓縮后的特征，S_k-1，d是第k個次密連接塊中的局部密連接組的第d個卷積層提取的特征；

所述融合塊是一層1×1卷積層，將局部密連接組提取的特征進行融合、壓縮，第k個次密連接塊提取的特征S_k如下所示：

S_k＝S_BLC+F_FB(S_k-1+S_LDG)；

其中，F_FB表示融合塊，所述輸入跳躍連接將第k-1個次密連接塊提取的特征S_k-1傳遞給融合塊，所述壓縮跳躍連接將特征壓縮塊壓縮后的特征S_BLC傳遞到次密連接層的尾部；輸入跳躍連接和壓縮跳躍連接有助于穩定多尺度殘差層級密連接網絡模型的訓練和提升網絡模型性能；

S3、初始化步驟S2中建立的多尺度殘差層級密連接網絡模型，確定損失函數，選取優化器，設置多尺度殘差層級密連接網絡模型訓練的參數；

采用kaiming高斯初始化方法對多尺度殘差層級密連接網絡模型的卷積層權值進行初始化；所述多尺度殘差層級密連接網絡模型訓練的參數包括：指定訓練數據集和驗證數據集的路徑、指定放大因子r、輸入到網絡模型的批數據量B、初始學習率Lr_initial、網絡模型訓練的迭代次數e、輸入到網絡模型的高分辨率圖像塊大小patch_size；

分別訓練了2倍、3倍、4倍和8倍的多尺度殘差層級密連接網絡模型，因此放大因子分別為2、3、4、8；輸入到網絡模型的批數據量B設為16；初始學習率Lr_initial設為1×10^-4；設置網絡訓練的迭代次數為1000個epoch；輸入到網絡模型的低分辨率圖像塊大小為48×48，而高分辨率圖像塊的大小為48r×48r，因此當放大因子為4時，其對應的高分辨率圖像塊大小patch_size設為192；

圖像超分辨率任務中常用的損失函數有L₁、L₂、感知損失、對抗損失，為了減少多尺度殘差層級密連接網絡模型的計算復雜度，選用L₁損失作為損失函數來優化多尺度殘差層級密連接網絡模型；在迭代訓練的過程中，損失函數可能會產生震蕩，表明當前的學習率過大，阻礙網絡模型的收斂，即收斂曲線在極值點附近震蕩，在網絡訓練E個epoch后，將學習率減半，加速網絡模型的收斂，提高網絡模型的性能，E設置為200；

選取ADAM優化器來多尺度殘差層級密連接網絡模型進行反向梯度傳播，更新模型參數，ADAM的參數設置為：β₁＝0.9，β₂＝0.999以及ε＝10^-8；

S4、訓練多尺度殘差層級密連接網絡模型，每個epoch使用驗證集來測試模型的性能，得到訓練好的多尺度殘差層級密連接網絡模型；

對多尺度殘差層級密連接網絡模型進行1000個周期的訓練；

給定訓練集L₁函數定義如下所示：

其中，W、H為低分辨率圖像的長、寬，C為通道數目，r為放大因子，F_θ代表多尺度殘差層級密連接網絡模型，θ代表網絡參數集，在整體網絡訓練過程進行優化；

每個epoch訓練都對模型進行驗證，使用雙立方插值方法對原始高分辨率圖像(HR)下采樣得到對應的低分辨率圖像(LR)；

S5、獲取測試數據集，將測試數據集輸入訓練好的多尺度殘差層級密連接網絡模型中執行測試，生成超分辨率圖像；

采用五個標準的測試數據集進行圖像超分辨率模型效果的驗證，這個五個測試集是：Set5、Set14、BSD100、Urban100和Manga109，Set5、Set14、BSD100是一些自然圖像的集合；Urban100是100張具有高頻信息的城市圖像的集合；Manga109是109張日本漫畫圖像的集合；這些數據集被廣泛地應用在各種各樣的超分辨率模型驗證上，首先對數據集的高分辨率圖像進行下采樣操作得到對應的低分辨率圖像；也可以獲取生產生活中的需要進行放大的低分辨率圖像作為測試的輸入；

執行測試操作，生成超分辨率圖像(SR)；

S6、計算生成的超分辨率圖像與真實的高分辨率圖像之間的峰值信噪比和結構相似度；

將多尺度殘差層級密連接網絡模型重建的超分辨率圖像I_SR與原始的高分辨率圖像I_HR轉換到YCbCr顏色空間，在Y通道上計算峰值信噪比和結構相似度，衡量多尺度殘差層級密連接網絡模型的重建質量；

峰值信噪比(PSNR)在全局信息上衡量圖像重建質量的好壞，計算公式如下：

其中H、W為低分辨率圖像的長度和寬度，r為放大因子，X為真實圖像，為生成的超分辨率圖像；MSE為均方誤差，n為每像素的比特數，n取8；PSNR的單位是分貝(dB)，數值越大表示失真越小，重建質量越好；

結構相似度(SSIM)衡量圖像在結構上的相似程度，利用均值和方差，在全局統計特性下衡量測試圖像和參考圖像的結構的相似程度，計算公式如下：

其中，μ_x，μ_y分別是圖像x，y的均值；σ_x，σ_y分別是圖像x，y的方差；其中，μ_x，μ_y分別是圖像x，y的均值；σ_x，σ_y分別是圖像x，y的方差；c₁＝k₁R，c₂＝k₂R，k₁＝0.01，k₂＝0.03，R是像素值的動態范圍，灰度圖像的像素值取值范圍為[0，255]，本實例中R取255；c₁，c₂是為了防止分母為0；

sSIM在亮度、對比度和結構上對圖像結構的相似程度進行度量，其取值范圍為[0，1]，值越大表示兩幅圖像越相似，反之則越不相似，當兩幅圖像完全相同時，SSIM值為1。