[發明專利]一種基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法

在審

• 申請號: 202011229051.3
• 申請日: 2020-11-06
• 公開（公告）號: CN112419150A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 凌強;張夢磊;李峰
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

本發明涉及一種基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法，輸入待處理的低分辨率圖像和放大倍數，待處理的輸入圖像稱為低分辨率圖像，使用超分辨率重建方法放大的圖像稱為高分辨率圖像；首先使用位置圖構造模塊構造位置圖，然后使用空域權重預測模塊預測雙邊上采樣卷積核的空域權重；通過卷積神經網絡特征提取模塊提取低分辨率圖像特征作為雙邊上采樣卷積核的值域權重；預測得到的空域權重和值域權重，通過雙邊上采樣參數計算模塊，計算雙邊上采卷積核參數；進行上采樣處理，得到超分辨率特征圖；將超分辨率特征圖的通道數轉換到輸入圖像的通道大小，輸出重建的超分辨率圖像。本發明可以應用于任意倍數低分辨率圖像超分辨率重建，可以有效提高低分辨率圖像超分辨率重建準確度。

技術領域

本發明涉及圖像重建方法領域，具體涉及一種基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法。

背景技術

隨著智能移動設備的普及，人們越來越傾向于從圖像中獲取信息。圖像分辨率是衡量圖像信息量的一個關鍵指標。圖像分辨率越高，所包含的信息量也就越豐富，越能夠更加真實詳細的描述客觀場景。但是現實生活中受到網絡傳輸速度以及傳感器水平等硬件條件的制約，呈現出的圖像分辨率一般較低，很難滿足人們的實際使用需求，因此需要使用基于軟件的圖像超分辨率重建方法來有效的解決這一問題。

單張圖像超分辨率重建方法旨在使用低分辨率圖像恢復重建盡可能真實的高分辨率圖像。它在安防、監控成像、醫學成像以及衛星和遙感成像中具有非常廣泛的應用。目前，大多數基于卷積神經網絡的單張圖像超分辨率重建方法僅僅使用固定放大倍數(2倍、3倍、4倍或者8倍)對低分辨率圖像進行超分辨率重建。但是現實生活中人們往往需要對圖像進行任意倍數的放大以查看圖像的局部細節。因此，解決任意放大倍數的圖像超分辨率重建問題對于圖像超分辨率重建投入實際使用有非常重大的意義。

現有的圖像超分辨率重建方法可以分為三種類型：基于插值的方法，基于統計的方法和基于學習的方法。在早期，前兩類方法因其計算效率優勢而得到廣泛的關注。但是，這兩類方法總是局限于較小的超分辨率倍數(2倍超分辨)，超分辨率倍數增大時(4倍或者8倍超分辨)效果較差。基于學習的方法【1】使用大量的低分辨率-高分辨率圖像對來訓練圖像超分辨率重建模型，使得訓練好的模型可以根據輸入數據來推斷出低分辨率圖片所缺失的高頻信息，并且在較大放大倍數時也可以得到較好的超分辨率重建效果。基于深度學習的方法具有從大規模數據庫中學習知識的強大能力，因而被引入到圖像超分辨率重建問題。但是這些基于卷積神經網絡的方法僅僅使用固定的整數放大倍數【2】來學習低分辨率圖像到高分辨率圖像之間的映射關系，當需要任意放大倍數或者非整數放大倍數時這些方法并不適用。

目前圖像超分辨率重建領域主要有三種方法來應對任意放大倍數問題。第一種是使用雙線性插值方法對低分辨率特征圖進行上采樣。董等人【3】初次提出使用卷積神經網絡學習端到端的單張圖像超分辨率重建任務，并使用雙線性插值方法將低分辨特征圖上采樣到高分辨率特征圖，但是使用雙線性插值的方法無法自適應的學習上采樣參數，因此超分辨率重建效果較差。賴等人【4】使用拉普拉斯金字塔網絡對低分辨率特征圖進行逐級上采樣以此改善超分辨率重建效果，但是這種在高分辨率圖像上進行特征提取的方法計算量較大。第二種方法是針對不同的上采樣倍數學習不同的上采樣模塊。施等人【5】提出使用使用子像素卷積的方法對低分辨率特征圖進行上采樣處理，以此加快上采樣網絡的運行速度，但是子像素卷積只適用于整數倍的放大倍數，無法處理非整數倍的放大倍數。林等人【6】使用共享特征提取模塊訓練不同的上采樣模塊的方法學習不同的放大倍數，但是這種方法同樣只適用于整數倍放大倍數。第三中方法是根據不同的放大倍數自適應的學習上采樣模塊的參數。胡等人【7】引入元學習的思想構造上采樣模塊，首次實現低分辨率圖像通過單模型進行任意尺度的上采樣，通過動態預測上采樣卷積參數，在應用上達成類似在圖片查看器中滾動滑輪查看圖片的效果。但是這種方法只使用放大倍數估計上采樣卷積參數，沒有用到圖像的內容信息【8】，使得超分辨率重建結果比較模糊，因此需要針對這一問題加以改進。