[發明專利]一種基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法

在審

• 申請號: 202011229051.3
• 申請日: 2020-11-06
• 公開（公告）號: CN112419150A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 凌強;張夢磊;李峰
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法，其特征在于，包括以下步驟：

步驟1：輸入待處理的低分辨率圖像和放大倍數，待處理的輸入圖像稱為低分辨率圖像，使用超分辨率重建方法放大的圖像稱為高分辨率圖像；

步驟2：使用步驟1中輸入的放大倍數通過位置圖構造模塊構造位置圖，然后使用空域權重預測模塊預測雙邊上采樣卷積核的空域權重；

步驟3：使用步驟1中輸入的低分辨率圖像通過卷積神經網絡特征提取模塊提取低分辨率圖像特征作為雙邊上采樣卷積核的值域權重；

步驟4：使用步驟3中提取的低分辨率特征圖作為值域權重和步驟2中位置圖預測得到的空域權重，通過雙邊上采樣參數計算模塊，計算雙邊上采卷積核參數；

步驟5：使用步驟4計算得到的雙邊上采樣卷積核參數對低分辨率特征圖進行上采樣處理，得到超分辨率特征圖；

步驟6：將步驟5得到的超分辨率特征圖的通道數轉換到輸入圖像的通道大小，輸出重建的超分辨率圖像。

2.根據權利要求1所述的基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法，其特征在于：所述步驟2：使用步驟1中輸入的放大倍數通過位置圖構造模塊構造位置圖，然后使用空域權重預測模塊預測雙邊上采樣卷積核的空域權重，具體實現如下：

(1)將高分辨率圖像的每個像素映射到低分辨率圖像空間，然后得到每個高分辨率像素在低分辨率圖像空間中所對應的2×2鄰域像素，超分辨率圖像上每個位置的像素值就由低分辨率圖像上的2×2鄰域像素值和超分辨率像素與低分辨率像素之間的位置關系決定；

(2)根據超分辨率圖像坐標和放大倍數構造位置圖，

其中P為構造的位置圖，r為放大倍數，(i,j)為位置圖對應的超分辨率像素坐標，P_h，i，j為坐標(i,j)像素所對應位置圖上的第h個通道的值；h＝1時，P_h，i，j就是P_1，i，j，h＝2同理；

(3)構造得到位置圖之后，采用全連接層+ReLU層+全連接層結構作為空域權重預測模塊，隱藏層特征通道數設為256，利用構造的位置圖自適應預測雙邊上采樣卷積核的空域權重。

3.根據權利要求1所述的基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法，其特征在于：所述步驟3：使用步驟1輸入的低分辨率圖像通過卷積神經網絡特征提取模塊提取低分辨率圖像特征作為雙邊上采樣卷積核的值域權重，具體實現如下：

(1)使用步驟1輸入的低分辨率圖像通過卷積神經網絡特征提取模塊提取低分辨率圖像特征；

F^LR＝Conv(x^LR)

其中x^LR為步驟1輸入的低分辨率圖像，Conv(.)為卷積神經網絡特征提取模塊，F^LR為提取的低分辨率圖像特征；

(2)使用提取的低分辨率圖像特征作為雙邊上采樣卷積核的值域權重，用于后續雙邊上采樣卷積核構造。

4.根據權利要求1所述的基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法，其特征在于：所述步驟4中，使用步驟3中提取的低分辨率特征圖作為值域權重和步驟2中位置圖預測得到的空域權重，通過雙邊上采樣參數計算模塊，計算雙邊上采卷積核參數，具體實現如下：

(1)使用雙邊上采樣參數計算模塊合并步驟2中得到的空域權重和步驟3中得到的值域權重計算雙邊上采樣參數，

其中：(i，j)為高分辨率像素坐標，(i′，j′)為映射到低分辨率圖像中的最近鄰像素坐標，k為上采樣卷積核大小，(k₁，k₂)為上采樣卷積核坐標，c為特征圖通道數，W^P為預測的空域權重，w^p為使用空域權重構造的k×k大小空域上采樣卷積核，F^LR為低分辨率特征圖，w^B為計算得到的雙邊上采樣參數；

(2)使用計算得到的雙邊上采樣參數作為雙邊上采樣卷積核權重，用于雙邊上采樣卷積操作。

5.根據權利要求1所述的基于雙邊上采樣網絡的任意倍數圖像超分辨率重建方法，其特征在于：所述步驟5中，使用步驟4計算得到的雙邊上采樣卷積核參數對低分辨率特征圖進行上采樣處理，得到超分辨率特征圖，具體實現如下：

(1)使用步驟4預測得到的雙邊上采樣參數構造雙邊上采樣卷積核其中w^B為步驟4計算得到的雙邊上采樣參數，c為特征圖通道數，(i，j)為像素坐標，(k₁，k₂)為卷積核坐標；

(2)使用雙邊上采樣卷積核對低分辨率特征圖進行逐通道上采樣卷積操作，得到超分辨率特征圖，

其中F^SR表示超分辨率特征圖，w^B為計算得到的雙邊上采樣卷積參數，F^LR為低分辨率特征圖。