[發明專利]基于多注意力殘差特征融合的醫學圖像超分辨率重建方法

在審

• 申請號: 202110636035.4
• 申請日: 2021-06-08
• 公開（公告）號: CN113298717A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 徐涵杰;管秋;陸正威;韋子晗;陳奕州
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于多注意力殘差特征融合的醫學圖像超分辨率重建方法，其特點在于，所述方法包括以下步驟：

1)訓練樣本的處理：

為了使所提超分辨率網絡模型再訓練過程中有對應的高分辨率圖像HR和低分辨率圖像LR，先對512x512分辨率的高清醫學圖像原圖數據集做2倍和4倍的雙三次下采樣，得到256x256分辨率和128x128分辨率的低分辨率數據集。

2)聯合多注意力機制：

當提取到輸入圖像的特征H×W×C后，會分別進行Channel attention和Spatialattention的處理，最后將通道注意力權重和空間注意力權重相結合得到一個三維的Attention map M(U’)；在注意力機制前還添加了一個上下文融合模塊Combine Context，目的是讓輸入圖像的特征擁有更多的圖像上下文信息，操作為：輸入一張特征圖F：H×W×C，先經過一個池化層變為H/r×W/r×C，再經過上采樣變為特征圖U：H×W×C，此時H×W上每個像素點都含有周圍像素點的信息，見公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再將U’分別輸入到兩個注意力模塊。在通道注意力模塊中，先進行全局平均池化GAP聚合feature map在每個通道的維度，得到了1×1×C大小的特征圖，緊接著用一個全連接層將特征通道數降為C/r，再用一個全連接層將其變為1×1×C，得到了通道注意力的權重特征圖M_c(U′)，計算過程如公示(2):

M_c(U′)＝BN(FC₂(FC₁(AvgPool(U′)))) (2)

在空間注意力模塊中，先用1x1的卷基層將特征通道壓縮一半，再緊接一個3x3的卷基層和一個1x1的卷基層將特征變為H×W×1，得到了空間注意力的權重特征圖M_s(U′)，計算過程如公式(3)：

然后將兩個注意力分支中獲取到的權重特征圖融合起來，由于這兩張注意力特征圖的形狀不一樣，于是先將兩者擴展到H×W×C，然后再將它們逐項求和，求和后，取一個Sigmoid函數σ，將數值控制到0到1范圍內，得到既有通道注意力權重也有空間注意力權重的三維注意力特征圖M(U’)，如公式(4)：

M(U′)＝σ(M_c(U′)+M_s(U′)) (4)

再將該三維注意力圖與最開始的輸入特征F相乘，然后再將其添加到F上，得到帶有雙重注意力權重的特征圖F’，圖1的整個過程稱為CCDA，如公式(5)：

3)局部和全局殘差特征融合，網絡框架有三個模塊構成：Head、Body和Tail，過程如下：

3.1)、Head module模塊使用一個卷基層提取輸入圖像的初始特征圖，描述為公式(6)：

F₀＝H(I_LR) (6)

其中I_LR表示輸入圖像，F₀表示提取到的淺層特征，H表示提取輸入圖淺層特征的卷積操作；

3.2、Body module模塊包含了G個CCDA模塊，在網絡結構中加入了局部特征融合，將每一個CCDA模塊的輸出都直接和最后一個CCDA模塊的輸出進行匯聚，這樣最后的特征圖不僅擁有網絡最終輸入的結果還會有網絡中間結果的信息，此外，在body module的最后還加入了一個全局的特征融合，用于融合F₀和F_DF的特征，還具有加速訓練收斂的作用，該過程描述為公式(7)：

F_DF＝H_RAFF(F₀)＝F₀+B_g(F_g-1(…))+B_g-1(F_g-2(…))+…+B₀(F₀) (7)

其中F_DF表示提取到的深層特征，H_RAFF表示本發明提出的殘差注意力特征融合模塊(Residual Attention Feature Fusion)，其中包含了G個CCDA模塊，B_g表示第g個堆疊的CCDA Block。

3.3、Tail module模塊包含上采樣模塊和重建模塊，以Head和Body的輸出作為輸入，輸出重建圖像，該部分描述為公式(8)：

其中I_SR表示最終超分辨率重建的圖像，H_UP表示上采樣模塊，H_REC表示重建模塊，I_LR是輸入給神經網絡的低分辨率圖；

最后用L₁損失函數對該網絡模型進行優化，給定一個訓練集其中包含N張輸入的低分辨率LR圖，以及對應的N張HR圖，網絡的訓練目標是最小化L₁損失函數，描述為公式(9)：

其中，θ表示該網絡的參數集，并采用隨機梯度下降的方法對損失函數進行了優化。