[發明專利]基于多注意力殘差特征融合的醫學圖像超分辨率重建方法

在審

• 申請號: 202110636035.4
• 申請日: 2021-06-08
• 公開（公告）號: CN113298717A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 徐涵杰;管秋;陸正威;韋子晗;陳奕州
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于多注意力殘差特征融合的醫學圖像超分辨率重建方法，聯合了通道注意力機制和空間注意力機制兩個模塊，讓網絡對輸入圖片的特征進行加權重處理，從而解決輸入特征被平等處理而導致網絡表征能力不足的問題；提出了殘差注意力特征融合模塊(RAFF)，將神經網絡中局部的特征進行融合，再加上全局的特征融合，可以更充分地利用整個網絡中的局部殘差特征，從而解決深度神經網絡過深而網絡學習能力不足的問題。本發明有效地對醫學圖像進行超分辨率重建，可以提高較深的超分辨率網絡的圖像超分重建性能。

技術領域

本發明涉及一種基于多注意力殘差特征融合的醫學圖像超分辨率重建方法。

背景技術

近年來，深度卷積神經網絡在單幅圖像上的超分辨率上取得了非常好的效果，圖像超分辨率的一種常見方法是基于實例的方法，該方法利用高分辨率圖像和低分辨率圖像的信息，生成近似原始高分辨率圖像的超分辨率版本。在醫學圖像上也存在許多使用超分辨率的方法，醫學影像的超分辨率重建有助于提高基于計算機輔助的臨床醫學診斷和疾病定量分析的準確性和客觀性，所以，對需要的醫學圖像進行超分辨率重建是有必要的。

現有技術存在的缺陷為：現有的大部分超分網絡都是基于卷積神經網絡進行訓練的，網絡對輸入圖片的特征是平等處理的，網絡雖然學習到了輸入圖像的特征，但是這些特征并沒有差異，從而會降低超分網絡的表征能力。并且現有的超分辨率方法主要專注于設計更深的網絡結構，卻很少挖掘層間特征的相關性，難以充分利用整個網絡中的局部特征信息，從而會降低深度神經網絡的學習能力。

發明內容

為了克服現有的不足，本發明針對上述的兩個問題進行了改進，提出了一種基于多注意力殘差特征融合的醫學圖像超分辨率重建方法，聯合了通道注意力機制和空間注意力機制兩個模塊，讓網絡對輸入圖片的特征進行加權重處理，從而解決輸入特征被平等處理而導致網絡表征能力不足的問題；提出了殘差注意力特征融合模塊(RAFF)，將神經網絡中局部的特征進行融合，再加上全局的特征融合，可以更充分地利用整個網絡中的局部殘差特征，從而解決深度神經網絡過深而網絡學習能力不足的問題。

本發明解決其技術問題所采用的技術方案是：

一種基于多注意力殘差特征融合的醫學圖像超分辨率重建方法，聯合通道注意力和空間注意力模塊，將輸入圖片的特征從多方面加以權重，再加上局部和全局的殘差特征融合并構建了新穎的超分辨率重建方法，包括以下步驟：

1)訓練樣本的處理：

為了使所提超分辨率網絡模型再訓練過程中有對應的高分辨率圖像(即HR)和低分辨率圖像(即LR)，本發明先對512x512分辨率的高清醫學圖像原圖數據集做2倍和4倍的雙三次下采樣，得到256x256分辨率和128x128分辨率的低分辨率數據集。

2)聯合多注意力機制：

本發明提出了一種多注意力的超分辨率重建網絡。當提取到輸入圖像的特征H×W×C后，會分別進行Channel attention和Spatial attention的處理，最后將通道注意力權重和空間注意力權重相結合得到一個三維的Attention map M(U’)。本發明在注意力機制前還添加了一個上下文融合模塊Combine Context，目的是讓輸入圖像的特征擁有更多的圖像上下文信息，具體操作為：輸入一張特征圖F：H×W×C，先經過一個池化層變為H/r×W/r×C，再經過上采樣變為特征圖U：H×W×C，此時H×W上每個像素點都含有周圍像素點的信息，見公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再將U’分別輸入到兩個注意力模塊。在通道注意力模塊中，先進行全局平均池化(GAP)聚合feature map在每個通道的維度，得到了1×1×C大小的特征圖，緊接著用一個全連接層將特征通道數降為C/r，再用一個全連接層將其變為1×1×C，得到了通道注意力的權重特征圖M_c(U′)，計算過程如公示(2):