[發明專利]基于可分離卷積和注意力的三維圖像超分辨率重建方法

在審

• 申請號: 201911103233.3
• 申請日: 2019-11-12
• 公開（公告）號: CN111369433A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 呂衛;宋志瑾;褚晶輝
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種基于可分離卷積和注意力的三維圖像超分辨率重建網絡，包括下列步驟：

第一步，構建數據集并進行數據預處理：

(1)構建數據集：下載公開的HCP(Human Connection Project)數據集，將數據集中每一張三維高分辨率圖像切分成小塊，對這些小塊進行數據增強以增加數據量，然后劃分數據集。

(2)數據預處理：把切分后的高分辨率小塊經過k空間變換得到對應的低分辨率小塊；

第二步，通過深度學習框架TensorFlow搭建基于可分離卷積和注意力的三維圖像超分辨率重建網絡，基于可分離卷積和注意力的三維圖像超分辨率重建網絡包括四個部分，淺層特征提取模塊、稠密連接模塊、注意力模塊和重建模塊；

(1)將低分辨率小塊輸入淺層特征提取模塊，該模塊有兩個相同的結構，每個結構均由3*3*1和1*1*3的可分離卷積，relu激活函數組成，得到輸出特征圖；

(2)將淺層特征提取模塊的輸出特征圖輸入稠密連接模塊，稠密連接模塊由四個稠密塊組成，每一個稠密塊由四個密集層組成，每一個密集層由relu激活函數和3*3*3卷積層組成，層與層之間是密集連接；

(3)將稠密連接模塊的輸出特征圖輸入注意力模塊，注意力模塊由兩個1*1*1卷積層和它們分別對應的relu激活函數、sigmoid激活函數組成，第一個1*1*1卷積層把輸入特征圖的維度降為原來維度的1/16，第二個1*1*1卷積層把降維后的特征圖升維，恢復成輸入特征圖的維度，稠密連接模塊的輸出特征圖和注意力模塊的輸出特征圖逐元素相乘得到總的輸出特征圖；

(4)將第三步中總的輸出特征圖送入重建模塊，重建模塊由一個3*3*3卷積層組成，重建模塊的輸出特征圖就是超分辨率重建后的小塊，即超分辨率小塊；

第三步，模型訓練：

把第一步獲得的低分辨率小塊送入第二步所搭建的基于可分離卷積和注意力的三維圖像超分辨率重建網絡中，通過正向傳播得到超分辨率小塊，計算高分辨率小塊和超分辨率小塊的誤差，該誤差項由輸出層向隱藏層逐層的反向傳播，更新網絡參數直至輸入層，使用ADAM優化器不斷反饋優化直至誤差不再減小；將訓練好的網絡參數保存為模型；

第四步，輸入三維醫學低分辨率小塊，加載第三步訓練好的模型，輸出重建的超分辨率小塊。