[發明專利]基于可分離卷積和注意力的三維圖像超分辨率重建方法

在審

• 申請號: 201911103233.3
• 申請日: 2019-11-12
• 公開（公告）號: CN111369433A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 呂衛;宋志瑾;褚晶輝
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明涉及一種基于可分離卷積和注意力的三維圖像超分辨率重建網絡，包括：第一步，構建數據集并進行數據預處理，把切分后的高分辨率小塊經過k空間變換得到對應的低分辨率小塊；搭建基于可分離卷積和注意力的三維圖像超分辨率重建網絡，包括四個部分，淺層特征提取模塊、稠密連接模塊、注意力模塊和重建模塊；模型訓練：把第一步獲得的低分辨率小塊送入所搭建的基于可分離卷積和注意力的三維圖像超分辨率重建網絡中，通過正向傳播得到超分辨率小塊，計算高分辨率小塊和超分辨率小塊的誤差，該誤差項由輸出層向隱藏層逐層的反向傳播，更新網絡參數直至輸入層，使用ADAM優化器不斷反饋優化直至誤差不再減小；將訓練好的網絡參數保存為模型。

技術領域

本發明涉及一種基于可分離卷積和注意力的三維圖像超分辨率重建方法，主要應用于三維醫學圖像的超分辨率重建。

背景技術

圖像超分辨率(SR)是指根據其低分辨率(LR)對應的圖像重構相應的高分辨率(HR)圖像。隨著人工智能技術的飛速發展，圖像超分辨率技術在醫學圖像中得到了廣泛的應用，是醫學圖像處理、計算機輔助診斷等領域的研究熱點之一。醫生通過超分辨率算法獲得高分辨率醫學圖像可以更清楚地看到生物結構和早期病變，這對診斷和治療疾病是相當有益的。

然而，圖像的分辨率和質量通常受到成像硬件的限制。除了可能的硬件限制,醫學圖像更容易受到健康限制(如X射線電離輻射劑量)和采集時間的限制(如吸收率有限)。此外，由于病人疲勞和器官搏動引起的運動會進一步降低圖像質量，導致圖像信噪比降低。低分辨率醫學圖像有限的視野和退化的圖像質量會降低重要病理細節的可見性，影響診斷的準確性。研究表明，圖像超分辨率(SR)為提高醫學圖像在空間分辨率方面的感知質量提供了另一種相對便宜的解決方案。如果我們重建出高分辨率(HR)圖像，那么我們就可以在時間較短的掃描中獲得更大的空間覆蓋率和更好的空間分辨率。

近年來，圖像超分辨率技術發展迅速。首先，插值方法被廣泛應用，其計算效率高但是表示能力非常有限并且容易丟失高頻紋理細節，從而產生模糊的高分辨率輸出。基于模型的方法如利用先驗信息約束解空間的最大后驗概率(MAP)方法，與基于插值的方法相比，該方法的性能得到了提高。但是，當輸入圖像較小時，幾乎沒有先驗信息可以被有效地利用，從而導致效率低下。基于稀疏的技術發展起來，以建立具有豐富圖像先驗信息的線性模型。這些方法的缺點是，尋找稀疏編碼系數的解在計算上是昂貴的。除了基于稀疏的方法外，還開發了其他復雜的學習技術來模擬LR到HR空間的映射，包括鄰域嵌入、隨機森林和卷積神經網絡。

Dong等人首次開發了一個三層網絡SRCNN，分為特征提取、非線性映射,重建三個階段，以學習SR的端到端映射。為了提高重建精度，VDSR加深了網絡層，增加了跳過連接來學習輸入和輸出圖像之間的殘差，有利于改善梯度消失和網絡退化問題。FSRCNN通過雙三次插值直接對低分辨率圖像進行卷積，并在網絡頂部進行反卷積，得到最終的高分辨率圖像。專利“基于稠密卷積神經網絡的三維醫學圖像超分辨率重建方法”(CN109360152A)提出了使用稠密神經網絡進行超分辨率重建。

深層CNN中的特征包含不同類型的信息，這些信息對圖像重建有不同的貢獻。但是以上方法均缺乏對不同類型信息的區分能力，對它們的處理也是平等的，導致模型的代表能力受到限制。因此，如何有效地利用神經網絡中的的空間特征，是圖像超分辨率重建中關鍵和有待探索的問題。

發明內容

針對模型缺乏不同類型信息的區分能力，本發明提出一種基于可分離卷積和注意力的三維圖像超分辨率重建方法，重建效果比較好。技術方案如下：

一種基于可分離卷積和注意力的三維圖像超分辨率重建網絡，包括下列步驟：

第一步，構建數據集并進行數據預處理：

(1)構建數據集：下載公開的HCP(Human ConnectionProject)數據集，將數據集中每一張三維高分辨率圖像切分成小塊，對這些小塊進行數據增強以增加數據量，然后劃分數據集。