[發明專利]基于深度學習局部與非局部信息的超分辨率重建方法

有效

• 申請號: 201910711664.1
• 申請日: 2019-08-02
• 公開（公告）號: CN112308772B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 何小海;占文樞;陳正鑫;任超;熊淑華;王正勇;滕奇志
• 申請（專利權）人: 四川大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于深度學習局部與非局部信息的超分辨率重建方法，其特征在于包括以下步驟：

步驟一：搭建基于深度學習局部與非局部信息的超分辨率卷積神經網絡模型，包括局部網絡和非局部增強網絡兩大模塊；局部網絡依次包括第一層的卷積層、中間的12個局部殘差模塊、中間的卷積層、亞像素卷積層以及緊跟其后的卷積層；搭建的局部殘差模塊主要包括兩層卷積層和一層激勵層；對于第i個殘差模塊，由輸入y_i-1得到輸出y_i的過程可以表示為：

式中，W_i¹和W_i²分別表示殘差模塊中第一個和第二個卷積層，和分別是第一層卷積層和第二層卷積層的偏置，σ表示激勵層，假設輸入為x_i，輸出為其激活過程可以描述為：

該函數將x_i中的負值直接映射為0；在非局部增強網絡中，利用非局部相似性模塊來搜索相似性信息，并將其用于特征重構，具體為以小長方體P為中心的大長方體S與小長方體P之間的運算過程，大長方體S為N通道輸入特征張量的一個f×f×N子張量，小長方體P是位于大長方體S幾何中心的1×1×N子張量，詳細的運算過程為先采用1×1卷積層分別對S和P進行自適應特征加權，再對加權后維度為f×f×N的A進行維度重組、轉置得到維度為N×f²的S_temp-A，對加權后維度為f×f×N的B進行維度重組得到維度為f²×N的S_temp-B，對加權后維度為1×1×N的C進行維度重組形成維度為1×N的P_temp，上述過程可以用公式表示為：

S_temp-A＝[H_reshape(H_conv(S))]^T

S_temp-B＝[H_reshape(H_conv(S))]

P_temp＝H_reshape(H_conv(P))

式中，H_reshape和H_conv分別表示維度重組和卷積操作，T表示轉置操作；不同于傳統基于非局部相似性的算法，非局部相似性模塊采用內積的方式來求解相似程度，在實際計算中，以矩陣乘法實現內積的思想，先將維度為1×N的P_temp與維度為N×f²的S_temp-A進行矩陣相乘，得到維度為1×f²的初始相似權重，再用Softmax激活函數歸一化初始相似權重，得到最終歸一化的相似權重w，接著將w與S_temp-B進行矩陣相乘，即可得到維度為1×N的加權平均小長方體P_w；最后，將原始小長方體P與加權平均小長方體P_w相加就得到了原始小長方體P經過非局部相似性模塊處理后的結果Q，上述過程可以用公式表示為：

Q＝P+Softmax(P_tempS_temp-A)S_temp-B

進一步將非局部相似性模塊嵌入到殘差學習中構成非局部殘差塊，其由輸入特征F_i得到輸出特征F_j的過程可以用公式描述為：

F_j＝H_conv(H_convR(NLSB(H_convR(F_i))))+F_i

式中，NLSB表示非局部相似性模塊操作，H_convR表示先進行卷積層操作再進行ReLU激活；在訓練階段，采用雙三次插值對高分辨率圖像庫進行降質生成低分辨率圖像庫，將對應的高低分辨率圖像作為訓練對象輸入到設計的網絡模型中，訓練時以預測圖像和真實圖像之間的MSE誤差作為損失函數，并以此來規范網絡參數的更新，其過程可以用公式表示為：

式中，H_LN表示搭建的超分辨率卷積神經網絡，和分別表示訓練樣本中第i個低分辨率和高分辨率圖像，L表示二范數MSE損失，Θ表示網絡需要更新的參數，k為每批次訓練樣本的數目；

步驟二：利用步驟一的卷積神經網絡，分別訓練不同放大因子的超分辨率模型；

步驟三：以訓練好的超分辨率重建模型為基礎，將低分辨率圖像作為輸入，得到最終的超分辨率重建圖像。