[發(fā)明專利]基于多切片CT圖像的肺結(jié)節(jié)分類和病灶定位方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811255336.7
• 申請(qǐng)日: 2018-10-26
• 公開（公告）號(hào): CN109523521B
• 公開（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 雷一鳴;張軍平
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/04;G06N3/08;G06V10/764
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于CT圖像的肺結(jié)節(jié)分類和病灶定位方法，其特征在于，采用2D深度神經(jīng)網(wǎng)絡(luò)，將肺結(jié)節(jié)的多切片的CT圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，使得神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到同一結(jié)節(jié)的不同尺度和不同形態(tài)的特征；通過對(duì)神經(jīng)網(wǎng)絡(luò)最后一層的所有特征圖分別加全鏈接層，實(shí)現(xiàn)細(xì)粒度的定位，再將全鏈接層得到的特征向量與U-Net結(jié)構(gòu)中的低維特征結(jié)合，實(shí)現(xiàn)更精確的惡性病灶的定位；具體步驟為：

(1)樣本預(yù)處理

樣本取自于512×512的臨床CT圖像；結(jié)節(jié)中心(x,y)及半徑(r)由臨床醫(yī)生標(biāo)注，其中，(a)對(duì)每個(gè)結(jié)節(jié)的中心切片提取大小為(2r×2r)的正方形區(qū)域?yàn)樵撉衅臉颖荆?b)對(duì)同一結(jié)節(jié)的中心切片向上、向下分別取n個(gè)切片得到其他2n個(gè)切片，對(duì)其他2n個(gè)切片做(a)處理；(c)得到該結(jié)節(jié)的樣本；訓(xùn)練/測(cè)試集表示如下：

V_train/test＝{x₁，x₂，x₃，...，x_n}

x_i為一個(gè)大小為(2n+1)×2r×2r的結(jié)節(jié)樣本，訓(xùn)練/測(cè)試集樣本個(gè)數(shù)為n；

(2)搭建基于U-Net的網(wǎng)絡(luò)模型

網(wǎng)絡(luò)模型包括3個(gè)降采樣層和3個(gè)上采樣層以及3個(gè)跳鏈接層，該網(wǎng)絡(luò)的輸入通道數(shù)為2n+1；其中，網(wǎng)絡(luò)開始為兩個(gè)3×3卷積層；每個(gè)降采樣層包括：1個(gè)MaxPooling層和兩個(gè)3×3卷積層；每個(gè)上采樣層包括：1個(gè)上采樣層和兩個(gè)3×3卷積層，上采樣層為雙線性插值；跳鏈接將下采樣過程中的特征圖與上采樣同分辨率的特征圖在通道維度拼接；“ResidualBlocks”包含兩個(gè)殘差模塊，每個(gè)殘差模塊由兩個(gè)3×3卷積層組成，3×3卷積層后接BatchNormalization和ReLU激活函數(shù)；“FC”為全鏈接層；

(3)提取高層語義特征

將第3降采樣層特征圖通過全局最大池化GMP轉(zhuǎn)化為1維向量；

(4)計(jì)算軟激活值

將上采樣的輸出特征圖作為一個(gè)殘差網(wǎng)絡(luò)的輸入，殘差網(wǎng)絡(luò)的倒數(shù)第2層為均值池化層，即AvgPool層，后接256個(gè)子全鏈接層，每個(gè)均值池化后的特征圖接一個(gè)全鏈接，各子全鏈接層相互獨(dú)立；

所述的計(jì)算軟激活值的具體方法為：

(a)上采樣結(jié)果輸入到一個(gè)包含兩個(gè)殘差模塊的網(wǎng)絡(luò)進(jìn)行特征提取；

(b)殘差網(wǎng)絡(luò)后接一個(gè)AvgPool層，kernel_size＝5,stride＝2,padding＝0，經(jīng)AvgPool后，得到256個(gè)大小為6×6的特征圖即微特征；

(c)每個(gè)微特征后接一個(gè)只包含1個(gè)神經(jīng)元的全鏈接層，即每個(gè)微特征被映射為一個(gè)值；

(5)高層語義特征增強(qiáng)特征向量

GMP得到的1維向量與AvgPool得到的1維向量相加，作為最終全鏈接層的輸入；

(6)軟激活值映射

得到訓(xùn)練好的模型后，將任一結(jié)節(jié)樣本輸入到神經(jīng)網(wǎng)絡(luò)，將其softmax層的參數(shù)與最后一層特征圖加權(quán)求和，得到軟激活映射圖；

所述的軟激活值映射的具體方法為：

(a)模型通過梯度反向傳播求解，目標(biāo)函數(shù)為交叉熵?fù)p失函數(shù)，表示如下：

其中，y為樣本的真實(shí)標(biāo)簽，為模型預(yù)測(cè)標(biāo)簽；

(b)測(cè)試圖像通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行前向傳播，最終全鏈接層的輸出經(jīng)過softmax層，softmax層的參數(shù)與殘差網(wǎng)絡(luò)輸出的特征圖加權(quán)求和：

SAM＝ω₁m₁+ω₂m₂+…+ω₂₅₆m₂₅₆

ω_i為軟激活值，m_i為殘差網(wǎng)絡(luò)最后一個(gè)卷積層的特征圖，SAM表示得到的軟激活值映射圖；

(7)高層語義特征增強(qiáng)的軟激活值映射

將高層語義特征增強(qiáng)特征向量作為模型最終的全鏈接層的輸入；

所述的高層語義特征增強(qiáng)的軟激活值映射的具體方法為：

測(cè)試圖像通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行前向傳播，

HESAM＝ω′₁m₁+ω′₂m₂+…+ω′₂₅₆m₂₅₆

ω′_i為高層語義特征增強(qiáng)特征向量，m_i為殘差網(wǎng)絡(luò)最后一個(gè)卷積層的特征圖，HESAM表示高層語義特征增強(qiáng)的軟激活值映射圖。