[發明專利]基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法

有效

• 申請號: 202010466399.8
• 申請日: 2020-05-28
• 公開（公告）號: CN111652804B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 宋江魯奇;張嘉嘉;杜娟;李歡;周慧鑫;張鑫;唐駿;于躍;延翔;秦翰林;王炳健
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 西安志帆知識產權代理事務所(普通合伙) 61258
• 代理人: 侯峰;韓素蘭

1.一種基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法，其特征在于，該方法為：采集需要進行超分辨率重建的場景圖像，并且對所述場景圖像進行下采樣獲得低分辨率圖像(LR)與高分辨率圖像(HR)對；

通過所述低分辨率圖像(LR)與高分辨率圖像(HR)對構建訓練數據集，獲得一組LR圖像塊和與之對應的HR圖像塊；

根據插值方法對所述LR圖像塊進行上采樣，獲得與HR圖像塊的尺寸相同的上采樣后的LR圖像塊；

將所述上采樣后的LR圖像塊與HR圖像塊輸入膨脹卷積金字塔與瓶頸網絡(ESP-BNet)進行訓練，獲取待超分辨率圖像場景對應的網絡的參數，并將其適配膨脹卷積金字塔與瓶頸網絡；

將所述待超分辨率處理的圖像輸入所述適配訓練好參數的膨脹卷積金字塔與瓶頸網絡，獲得超分辨后的結果圖；

所述膨脹卷積金字塔模塊由三部分組成：降維模塊、分割轉換模塊和特征融合模塊；所述降維模塊為1×1卷積模塊，其作用為將輸入特征圖降維，假設輸入特征圖為m×n×M，其中m，n表示單張特征圖的長和寬，M表示特征圖的數量，也即維數，后面分割轉換模塊的并行分支有K個，則所述1×1卷積模塊為1×1×d的卷積核，即共有d個1×1的卷積核，其中d＝M/K，原M維的特征圖經過降維模塊后，輸出為d維的特征圖；所述分割轉換模塊為K個并行分支，每個分支的輸入均為所述d維特征圖，每個分支的卷積操作均為膨脹卷積，不同分支的膨脹系數r不同，膨脹卷積取特征圖元素間隔為r-1該模塊輸出為K個d維的特征圖；所述特征融合模塊為若干個不同的加法模塊與聯接模塊，其輸入為K個d為的特征圖，輸出結果為M(M＝K×d)維特征圖；

所述瓶頸模塊由卷積塊和跳躍連接兩個分支組成；所述卷積塊由1×1、3×3和1×1三個不同的卷積層組成，其中第一個1×1的卷積層負責將輸入特征圖降維，3×3卷積層負責進一步的特征提取，第二個1×1的卷積層負責將特征圖擴展維度；所述跳躍連接為所述瓶頸模塊由輸入到輸出的連接，中間經過一個1×1的卷積層，用以匹配特征維度。

2.根據權利要求1所述的基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法，其特征在于，所述對所述場景圖像進行下采樣獲得低分辨率圖像(LR)與高分辨率圖像(HR)對，具體為：對所述場景圖像進行高斯濾波，高斯濾波的滑動窗口步長為下采樣率S，下采樣率與超分辨倍數保持一致，從而構建低分辨率圖像(LR)與高分辨率圖像(HR)對。

3.根據權利要求1或2所述的基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法，其特征在于，所述通過所述低分辨率圖像(LR)與高分辨率圖像(HR)對構建訓練數據集，具體為：采用128×128大小的掩模從LR圖像中裁剪圖像塊，同時在HR圖像中對應位置裁剪128S×128S大小的圖像塊，其中S表示待超分辨倍數或下采樣倍數，裁剪圖像塊的位置為隨機位置，裁剪后的LR-HR圖像對經過不同角度的旋轉和對稱，獲得增強的LR-HR訓練數據集。

4.根據權利要求3所述的基于膨脹卷積金字塔與瓶頸網絡的零樣本超分辨率重建方法，其特征在于，所述根據插值方法對所述LR圖像塊進行上采樣，獲得與HR圖像塊的尺寸相同的上采樣后的LR圖像塊，具體為：插值方法采用雙三次樣條插值，插值基函數為三次B樣條，插值后的LR圖像塊大小與HR圖像塊大小一致。