[發明專利]基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法

有效

• 申請號: 202010466399.8
• 申請日: 2020-05-28
• 公開（公告）號: CN111652804B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 宋江魯奇;張嘉嘉;杜娟;李歡;周慧鑫;張鑫;唐駿;于躍;延翔;秦翰林;王炳健
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 西安志帆知識產權代理事務所(普通合伙) 61258
• 代理人: 侯峰;韓素蘭

本發明公開了一種基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法，采集需要進行超分辨率重建的場景圖像，并且對所述場景圖像進行下采樣獲得低分辨率圖像與高分辨率圖像對；通過所述低分辨率圖像與高分辨率圖像對構建訓練數據集，獲得一組LR圖像塊和與之對應的HR圖像塊；根據插值方法對所述LR圖像塊進行上采樣，獲得與HR圖像塊的尺寸相同的上采樣后的LR圖像塊；將所述上采樣后的LR圖像塊與HR圖像塊輸入膨脹卷積金字塔與瓶頸網絡進行訓練，獲取待超分辨率圖像場景對應的網絡的參數，并將其適配膨脹卷積金字塔與瓶頸網絡；將所述待超分辨率處理的圖像輸入所述適配訓練好參數的膨脹卷積金字塔與瓶頸網絡，獲得超分辨后的結果圖。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法。

背景技術

圖像超分辨率重建的過程可以在既有圖像采集設備的基礎上提高了圖像質量，從而獲取分辨率高于成像設備的圖像，以方便后續的處理。

通常，超分變率重建使用低分辨率(LR)圖像將具有特定圖像信息的圖像還原為高分辨率(HR)圖像，該項技術廣泛應用于航空航天，導航系統，安全監控，醫學成像系統中。

到目前為止，研究人員一直熱衷于研究的超分辨率重建方法，往往依賴于大量的學習樣本和深度很深的學習網絡；經典的三層超高分辨率卷積神經網絡(SRCNN)方法首先利用ImageNet的40萬張圖像來訓練超分辨率重建網絡。隨著層數的增加，SRCNN可能會面臨過度擬合的問題，這類過擬合問題可以通過殘差結構加以解決，于是有學者提出了VDSR和DRCN網絡，他們使用來自G200和Yang?91的數據集的291張圖像訓練深度學習網絡；為了使用更全面的數據集進行網絡訓練，后又有學者提出了生成對抗網絡(GAN)，該網絡使得圖像的真實性得以提高。

深度學習網絡實現超分辨率重建，學習網絡往往采用了深度很深的神經網絡，訓練它依賴于大量的訓練數據，這就導致網絡訓練是參數量急劇上升，訓練過程中可能會出現梯度消失現象；而傳統的超分辨率重建方法(插值等)不需要大量的學習樣本，但它們不能滿足我們對超分辨率細節信息保留的需求。

綜上所述，結合國內外圖像超分辨率重建的發展現狀，研究一種不需大量樣本和很深的深度學習網絡結構，就能實現較好的、可信度高的圖像超分辨率重建方法，對于超分辨率重建的實用領域(例如生物醫學成像，航空航天等)有彌足重要的意義和價值。

發明內容

有鑒于此，本發明的主要目的在于提供一種基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明實施例提供一種基于膨脹卷積金字塔與瓶頸網絡的超分辨率重建方法，該方法為：采集需要進行超分辨率重建的場景圖像，并且對所述場景圖像進行下采樣獲得低分辨率圖像(LR)與高分辨率圖像(HR)對；

通過所述低分辨率圖像(LR)與高分辨率圖像(HR)對構建訓練數據集，獲得一組LR圖像塊和與之對應的HR圖像塊；

根據插值方法對所述LR圖像塊進行上采樣，獲得與HR圖像塊的尺寸相同的上采樣后的LR圖像塊；

將所述上采樣后的LR圖像塊與HR圖像塊輸入膨脹卷積金字塔與瓶頸網絡(ESP-BNet)進行訓練，獲取待超分辨率圖像場景對應的網絡的參數，并將其適配膨脹卷積金字塔與瓶頸網絡；

將所述待超分辨率處理的圖像輸入所述適配訓練好參數的膨脹卷積金字塔與瓶頸網絡，獲得超分辨后的結果圖。

上述方案中，所述對所述場景圖像進行下采樣獲得低分辨率圖像(LR)與高分辨率圖像(HR)對，具體為：對所述場景圖像進行高斯濾波，高斯濾波的滑動窗口步長為下采樣率S，下采樣率與超分辨倍數保持一致，從而構建低分辨率圖像(LR)與高分辨率圖像(HR)對。