[發明專利]融合SwinTransformer和CNN的肝腫瘤圖像分割方法

在審

• 申請號: 202210397446.7
• 申請日: 2022-04-15
• 公開（公告）號: CN114820634A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 艾山·吾買爾;潘詩杰;李冬;早克熱·卡德爾;石瑞;辛向哲
• 申請（專利權）人: 新疆大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08;G06T5/40;G06T5/50
• 代理公司: 深圳國聯專利代理事務所(特殊普通合伙) 44465
• 代理人: 王天興

1.一種融合SwinTransformer和CNN的肝腫瘤圖像分割方法，其特征在于：所述融合SwinTransformer和CNN的肝腫瘤圖像分割方法包括如下步驟：

(1)數據獲取和基本分割模型選取:

1)數據獲取。本發明所有實驗使用的都是MICCAI2017和ISBI2017聯合舉辦的肝臟腫瘤分割挑戰賽(Liver Tumor segmentation challenge,LiTS)所公開的數據集；

2)基本分割模型選取，在實驗部分使用TransUNet作為基礎模型，在上邊進行改進；

(2)數據預處理：首先通過對每一層提取變為二維圖像，共得到4522張圖片，分辨率都為224×224，按照7:3的比例劃分為訓練集、驗證集；

(3)確定損失函數：采用Dice損失函數和交叉熵損失函數混合后的損失函數，詳細公式如下：

L＝αL_Dice+(1-α)L_CE#(1)

(4)確定評價指標：下面所有式子中，TP和TN表示分類正確的像素點數量，FP表示為其它區域被錯誤的分類為目標的個數，FN表示為目標區域被錯誤的分類為其它區域的像素個數；

1)Dice系數(Dice SimilrityCoefficient)：

2)交并比(IOU)：

3)精確率(Precision)：

4)召回率(Recall)：

(5)分割模型搭建：

1)混合編碼器模塊：本發明提出了一種混合編碼器結構，該編碼器共有兩個分支所構成：CNN分支和SwinTransformer分支，每個分支都是編碼器的重要組成部分，其中SwinTransformer分支作為CNN分支的一個補充，當數據送入模型進行編碼時，該數據一方面會進入CNN分支，另一方面也會送入SwinTransformer分支；

2)級聯解碼器模塊：通過混合編碼器的CNN分支和SwinTransformer分支分別提取到淺層細節信息和全局語義信息后，接下來開始進入解碼器進行解碼操作，在解碼器部分，本發明采用了全卷積神經網絡中所應用的級聯上采樣器,它是由多個上采樣步驟組成；

3)跳躍連接方式設計：本發明所提出的混合編碼器本質上是利用兩種不同的模型共同對數據特征進行提取，然后在后續過程中進行融合，對這種存在跳躍連接中的特征融合方式重新設計和討論；

4)融合SwinTransformer和CNN的肝腫瘤分割模型：通過對混合編碼器、解碼器和跳躍連接的方式進行設計后，參考TransUNet網絡架構可以得到本發明的網絡分割模型，首先原始輸入數據要進入編碼器中進行特征提取，對于編碼器最終提取到的特征要輸入到解碼器，在解碼器中不斷的執行上采樣操作，直到恢復到與輸入圖像形狀大小相同，完成最終的預測；

(6)進行肝腫瘤圖像分割，方法如下：

1)訓練階段和驗證階段。利用預處理好的數據對本發明提出的網絡分割方法進行訓練，實驗是在配有1塊NVIDIA GeForce GTX 3090Ti的服務器上進行的,操作系統環境為Ubuntu18.04，實驗結束后，最終選取整個訓練周期內Dice系數評價指標最高所對應的輪數參數作為最終權重，并得到肝腫瘤分割對應的指標參數；

2)測試階段：首先把訓練階段得到的權重加載進入模型中，隨后從驗證集中隨機抽取圖像送進模型中進行測試，得到肝腫瘤的預測分割圖。