[發明專利]基于殘差-注意力深度神經網絡的腫瘤分割方法

有效

• 申請號: 201811045899.3
• 申請日: 2018-09-07
• 公開（公告）號: CN110889853B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 蘇苒;金強國;孟昭鵬
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136
• 代理公司: 天津創智天誠知識產權代理事務所(普通合伙) 12214
• 代理人: 李蕊;王秀奎

1.一種基于殘差-注意力深度神經網絡的腫瘤分割方法，其特征在于，包括以下步驟：

步驟1，數據預處理

1-1準備訓練模型數據集，所述訓練模型數據集包括：含有多個原始三維CT圖的原始三維CT圖集合T和含有與訓練模型數據集中每一個原始三維CT圖相對應的標定CT圖的標定CT圖集G，其中，每一個原始三維CT圖中包含：肝臟區域、腫瘤區域、無關器官區域和背景區域，每一個標定CT圖中包含：肝臟區域、腫瘤區域和背景區域；

對所述原始三維CT圖集合T做閾值化操作，再過濾噪聲，用于去除所述原始三維CT圖集合T中所有三維CT圖內位于肝臟區域周圍的其他器官的數據，得到閾值化CT圖集合T’；

1-2對步驟1-1所得閾值化CT圖集合T’先后依次進行零均值歸一化和z-score標準化，得到三維歸一化CT圖集合T^z；

步驟2，訓練集制作

二維切片數據集制作：參照所述標定CT圖集G，在所述步驟1-2所得三維歸一化CT圖集T^z中篩選出多個正樣本和多個負樣本并由該正樣本和負樣本組成二維切片數據集，其中，所述正樣本為所有包含肝臟區域的二維CT切片，所述負樣本為未包含肝臟區域的二維CT切片；將所述二維切片數據集中的每一張二維CT切片縮放到256×256的像素大小，得到由多張256×256二維CT切片組成的訓練集A；

三維肝臟塊數據集制作：參照所述標定CT圖集G中的肝臟區域，得到所述三維歸一化CT圖集合T^z中三維CT圖的肝臟邊界區域，分別求出所述三維歸一化CT圖集合T^z中每一個三維CT圖內肝臟邊界區域在冠狀方向、矢狀方向和軸向方向上的最小邊界{a_min,b_min,c_min,}和最大邊界{a_max,b_max,c_max}，其中，a為肝臟邊界區域在冠狀方向上的邊界，b為肝臟邊界區域在矢狀方向上的邊界，c為肝臟邊界區域在軸向方向上的邊界；

按照公式(5)對三維歸一化CT圖集合T^z中每一個三維CT圖的肝臟邊界區域的冠狀方向、矢狀方向和軸向方向上的最小邊界與最大邊界進行擴張，以使肝臟邊界區域被擴張后形成被框定區域T^b且所述被框定區域T^b的像素空間位置a’,b’,c’滿足公式(5)，

a'∈[a_min-10,a_max+10],b'∈[b_min-10,b_max+10],c'∈[c_min-10,c_max+10] (5)

對三維歸一化CT圖集合T^z中每一個三維CT圖的被框定區域T^b進行重采樣，得到重采樣后的肝臟區域T^r，所述肝臟區域T^r在冠狀方向的像素大小a”、矢狀方向的像素大小b”和軸向方向的像素大小c”分別為：

a”＝224,b”＝224,c”∈[c_min-10,c_max+10] (6)

在每個所述重采樣后的肝臟區域T^r中隨機地剪取多個224×224×32像素大小作為肝臟待訓練圖像塊，得到包含多個肝臟待訓練圖像塊的訓練集B；

三維腫瘤塊數據集制作：參照所述標定CT圖集G中的腫瘤區域，得到三維歸一化CT圖集T^z中三維CT圖的腫瘤區域，并通過在三維歸一化CT圖集T^z中三維CT圖的腫瘤區域中隨機剪切得到多個32×32×32像素大小的訓練集C；

步驟3，構建殘差-注意力深度神經網絡模型

構建殘差-注意力深度神經網絡，所述殘差-注意力深度神經網絡包括：被訓練集A訓練的二維殘差-注意力深度神經網絡-Ⅰ、被訓練集B訓練的三維殘差-注意力深度神經網絡-Ⅱ和被訓練集C訓練的三維殘差-注意力深度神經網絡-Ⅲ；

構建所述構建殘差-注意力深度神經網絡的模塊包括：構建殘差學習模塊、構建注意力-殘差學習模塊和構建損失函數，其中，

3-1構建殘差學習模塊

構建殘差學習模塊，將所述殘差學習模塊運作的原理定義為：

y_in+1＝y_in+F(y_in,w_in). (7)

其中，y_in為訓練集A、訓練集B和訓練集C分別經過in-1層卷積后輸出的特征圖，y_in+1為訓練集A、訓練集B和訓練集C經過in層殘差學習后輸出的特征圖，F為需要被學習的殘差映射函數，w_in為當前殘差學習模塊的權重；

3-2構建注意力-殘差學習模塊

構建注意力-殘差學習模塊，其中，在所述注意力-殘差學習模塊中注意力模塊的輸出特征圖y_im+1為：

y_im+1＝(1+S_im)*y_im (8)

其中，y_im為訓練集A、訓練集B和訓練集C分別經過im-1層卷積后輸出的特征圖；y_im+1為訓練集A、訓練集B和訓練集C經過im層注意力-殘差學習后輸出的特征圖；S_im為軟掩模分支的輸出，0≤S_im≤1；

3-3定義損失函數

通過最小化損失函數以優化殘差-注意力深度神經網絡，定義損失函數L為：

在公式(9)中，p_k為訓練集A、訓練集B和訓練集C中第k個像素的類別；g_k為所述標定CT圖集G中第k個像素的類別；k＝1、2、3……Total，Total為零均值歸一化CT圖集中所有像素點的個數；

步驟4、訓練殘差-注意力深度神經網絡

4-1訓練肝臟切片與粗略分割肝臟

將訓練集A送入二維殘差-注意力深度神經網絡-Ⅰ中進行訓練，調整所述損失函數至最小，當所述損失函數最小時，訓練出該殘差-注意力深度神經網絡的權重W_a；

4-2訓練肝臟塊與精細分割肝臟：

將訓練集B送入三維殘差-注意力深度神經網絡-Ⅱ中進行訓練，通過最小化損失函數訓練出該殘差-注意力深度神經網絡的權重W_b；

4-3訓練腫瘤塊與精準分割肝腫瘤

將訓練集C送入三維殘差-注意力深度神經網絡-Ⅲ中進行訓練，通過最小化損失函數訓練出該殘差-注意力深度神經網絡的權重W_c；

步驟5、分割階段

將待預測數據集按照步驟1中的數據預處理進行預處理數據，得到三維歸一化CT圖集V’，針對所述三維歸一化CT圖集V’中每個三維CT圖進行如下操作：

第一分割階段：將所述三維歸一化CT圖集V’中每個三維CT圖中的每一張二維切片縮放至256×256像素大小并按軸向方向順序送入訓練完畢且載入權重W_a的二維殘差-注意力深度神經網絡-Ⅰ進行預測，將每一張預測完畢的二維CT切片放大到512×512像素大小并按照該二維CT切片預測前所在的三維CT圖的軸向方向按順序重新堆疊成三維CT圖V’，再采用三維連通域方法在三維CT圖V’中標記肝臟，選擇最大連通區域作為粗略的三維肝臟區域，將所述粗略的三維肝臟區域在冠狀方向、矢狀方向和軸向方向上分別擴張10個像素，以確保粗略的三維肝臟區域被包圍在擴張后的區域內，得到待精細分割的肝臟區域V’₁；

第二分割階段：將所述肝臟區域V’₁進行重采樣，在肝臟區域V’₁的冠狀方向和矢狀方向上進行重采樣至224×224像素大小，軸向方向不進行重采樣，得到經過重采樣后待精細分割的肝臟區域V’₂，將所述肝臟區域V’₂的每個肝臟按軸向方向順序剪取224×224×32像素大小的待精細分割肝臟三維圖像塊，將所有待精細分割肝臟三維圖像塊按剪取的先后順序送入訓練完畢且載入權重W_b的三維殘差-注意力深度神經網絡-Ⅱ中進行預測，將預測完畢的待精細分割肝臟三維圖像塊按照原剪取該待精細分割肝臟三維圖像塊的順序重新堆疊，用投票策略處理待精細分割肝臟三維圖像塊重疊部分，用三維連通域標記肝臟并提取最大連通區域為T_L，在T_L的冠狀方向和矢狀方向上進行重采樣，軸向方向不進行重采樣，得到精細分割后的肝臟區域V’₃；

第三分割階段：將肝臟區域V’₃按照順序剪取32×32×32像素大小的待分割腫瘤三維圖像塊，按所有待分割腫瘤三維圖像塊按剪取的先后順序送入訓練完畢且載入權重W_c的三維殘差-注意力深度神經網絡-Ⅲ中進行預測，將預測完畢的待分割腫瘤三維圖像塊按照原剪取順序重新堆疊，用投票策略處理待分割腫瘤三維圖像塊重疊部分，得到預測的腫瘤分割結果V’₄。