[發(fā)明專利]融合W-net和條件生成對(duì)抗網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911178337.0
• 申請(qǐng)日: 2019-11-27
• 公開（公告）號(hào): CN110930418B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 梁禮明;藍(lán)智敏;吳健;盛校棋;楊國(guó)亮;馮新剛
• 申請(qǐng)（專利權(quán)）人: 江西理工大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06N3/04
• 代理公司: 贛州凌云專利事務(wù)所(普通合伙) 36116
• 代理人: 曾上

1.一種融合W-net和條件生成對(duì)抗網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法，其特征是，包括以下步驟：

步驟A01，數(shù)據(jù)集預(yù)處理：

首先，對(duì)數(shù)據(jù)集采用自適應(yīng)伽馬矯正、多尺度形態(tài)學(xué)濾波和通道加權(quán)灰度圖方法進(jìn)行圖像增強(qiáng)，減小噪聲和提升血管與背景的整體對(duì)比度，從而有利于血管的提取；對(duì)數(shù)據(jù)集采用旋轉(zhuǎn)、增加噪聲和48×48的滑動(dòng)窗口裁剪手段進(jìn)行數(shù)據(jù)擴(kuò)充，提高網(wǎng)絡(luò)對(duì)血管不同尺度的靈敏度和降低過(guò)擬合；

步驟A02，構(gòu)建視網(wǎng)膜血管分割模型：

首先，通過(guò)跳躍連接將U型網(wǎng)絡(luò)拓展為W型網(wǎng)絡(luò)，以及高效地恢復(fù)由于下采樣而丟失的細(xì)節(jié)信息，從而有利于跳躍連接層的微血管信息傳遞和加速網(wǎng)絡(luò)收斂，學(xué)習(xí)到更多的微血管特征；其次，使用深度可分離卷積代替標(biāo)準(zhǔn)卷積，拓寬網(wǎng)絡(luò)的同時(shí)減少參數(shù)量，提高參數(shù)利用率，同時(shí)引入殘差模塊緩解梯度消失和梯度爆炸；然后，每個(gè)跳躍連接均跟隨擠壓激勵(lì)SE模塊，通過(guò)學(xué)習(xí)特征通道相互依賴關(guān)系，避免權(quán)重分散，使淺層特征和深層特征得到有效結(jié)合；最后，使用W-net作為條件生成對(duì)抗網(wǎng)絡(luò)的生成器CGAN，同時(shí)定義CGAN的判別器，并對(duì)CGAN損失函數(shù)進(jìn)行修改；

所述的構(gòu)建視網(wǎng)膜血管分割模型包括W-net生成器、Image判別器和CGAN視網(wǎng)膜血管分割三部分：

A02.1，W-net生成器部分：

W-net網(wǎng)絡(luò)結(jié)構(gòu)由13個(gè)疊堆單元組成，其中unit1-7組成U-net_1，unit7-13組成U-net_2，并去掉兩個(gè)U-net之間的輸入輸出層，共用同一個(gè)unit，每個(gè)U-net的疊堆單元由典型的9個(gè)減少到7個(gè)，降低網(wǎng)絡(luò)的復(fù)雜度，節(jié)省計(jì)算資源開銷，以達(dá)到實(shí)時(shí)輔助專家醫(yī)療的水平；一方面，將U-net_1的解碼結(jié)構(gòu)與U-net_2的編碼結(jié)構(gòu)進(jìn)行跳躍連接，在加深網(wǎng)絡(luò)的同時(shí)使U-net_1提取的特征更快地傳遞到U-net_2的編碼結(jié)構(gòu)進(jìn)行學(xué)習(xí)；另一方面，對(duì)U-net_1與U-net_2內(nèi)部的長(zhǎng)連接進(jìn)行跳躍連接，使U-net_1提取的特征更快地傳遞到U-net_2的解碼結(jié)構(gòu)進(jìn)行解析；通過(guò)跳躍連接，使網(wǎng)絡(luò)既注重U-net的編碼結(jié)構(gòu)，強(qiáng)調(diào)網(wǎng)絡(luò)的上下文信息學(xué)習(xí)能力和淺層特征提取能力，又注重U-net的解碼結(jié)構(gòu)，強(qiáng)調(diào)網(wǎng)絡(luò)的信息定位能力和特征解析能力；

對(duì)W-net的每一個(gè)unit進(jìn)行詳細(xì)定義，用深度可分離卷積代替標(biāo)準(zhǔn)的卷積層，將通道和空間區(qū)域分開考慮，用3×3的卷積核在獨(dú)立通道上學(xué)習(xí)特征，再用1×1的卷積核進(jìn)行通道特征融合，實(shí)現(xiàn)拓寬網(wǎng)絡(luò)寬度，減少參數(shù)量，加快計(jì)算速度；

為緩解由于網(wǎng)絡(luò)的加深而帶來(lái)的梯度消失和梯度爆炸，對(duì)每個(gè)unit內(nèi)部使用短連接構(gòu)成殘差模塊，每個(gè)深度可分離卷積后緊跟批規(guī)范化BN和泄露修正線性單元Leaky ReLU，防止梯度消失，加快網(wǎng)絡(luò)收斂；由1×1卷積、BN和Leaky ReLU組成瓶頸層模塊以規(guī)范網(wǎng)絡(luò)的通道數(shù)；空間失活函數(shù)使神經(jīng)元按區(qū)域隨機(jī)失活，防止過(guò)擬合，降低局部特征的相互賴性，提高模型的泛化性，在編碼結(jié)構(gòu)中采用最大池化層以整合提取到的血管特征，提高特征圖感受野，減少后續(xù)訓(xùn)練的參數(shù)，在解碼結(jié)構(gòu)中采用反卷積操作，恢復(fù)特征圖的尺寸并學(xué)習(xí)不同級(jí)別的細(xì)節(jié)信息；

每個(gè)跳躍連接都跟隨一個(gè)SE模塊，對(duì)每個(gè)特征通道的重要程度自適應(yīng)選擇，解決網(wǎng)絡(luò)權(quán)重分散問(wèn)題，使網(wǎng)絡(luò)專注于血管特征提取，減少病灶噪聲影響；首先，采用全局平均池化層進(jìn)行空間信息擠壓映射生成通道描述符，該描述符具有全局感受野；然后，通過(guò)兩次全連接層FC和Leaky ReLU以限制模型的復(fù)雜度和提高模型的泛化性；最后通過(guò)Sigmoid函數(shù)和比例Scale操作捕獲通道之間的非線性作用和相互依賴關(guān)系，將描述符激勵(lì)映射到一組具有特定權(quán)重的通道上，從而實(shí)現(xiàn)對(duì)原始特征的重標(biāo)定；通過(guò)SE模塊，能夠增強(qiáng)有用特征抑制無(wú)用特征，從而提升網(wǎng)絡(luò)的血管特征提取能力和收斂速度；

A02.2，Image判別器部分：

為能準(zhǔn)確鑒別出圖像來(lái)源是生成器生成還是專家手工分割，在圖像級(jí)別上定義CGAN的判別器，Image判別器由典型重復(fù)的卷積塊、全局平均池化層和全卷積層組成；

A02.3，CGAN視網(wǎng)膜血管分割部分：

生成對(duì)抗網(wǎng)絡(luò)GAN由生成器G和判別器D組成，G的目標(biāo)是生成接近真實(shí)數(shù)據(jù)分布的樣本，而D的目標(biāo)是區(qū)分真實(shí)數(shù)據(jù)和G生成的數(shù)據(jù)，GAN的優(yōu)化過(guò)程是G和D的相互對(duì)抗的過(guò)程，直到兩者達(dá)到納什平衡；GAN能夠訓(xùn)練出更好地?cái)M合真實(shí)數(shù)據(jù)的網(wǎng)絡(luò)模型，其結(jié)果在空間上更具有一致性，有利于降低過(guò)擬合；CGAN在GAN的基礎(chǔ)上通過(guò)引入條件向量如數(shù)據(jù)標(biāo)簽，引導(dǎo)GAN對(duì)數(shù)據(jù)分布的擬合，解決學(xué)習(xí)特征不可控問(wèn)題；在視網(wǎng)膜圖像血管分割任務(wù)中，使用金標(biāo)準(zhǔn)作為條件向量，使用W-net作為CGAN的生成器，使用Image判別器判來(lái)斷數(shù)據(jù)的來(lái)源；

條件生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)為：

L_CGAN(D,G)＝E_{x,y～Pdata(x,y)}[logD(x,y)]+E_{x,G(x)～Pdata(x,G(x))}[log(1-D(x,G(x)))] (1)

其中，x為輸入的視網(wǎng)膜眼底圖像，G(x)為生成器分割結(jié)果，y為專家分割的金標(biāo)準(zhǔn)，D(x,G(x))和D(x,y)分別表示視網(wǎng)膜血管圖像來(lái)源于生成器分割和專家分割的概率,x,y～Pdata(x,y)代表y符合真實(shí)圖像的統(tǒng)計(jì)分布Pdata(x,y)，x,G(x)～Pdata(x,G(x))代表G(x)符合生成圖像的統(tǒng)計(jì)分布Pdata(x,G(x))，E表示求期望，在CGAN的訓(xùn)練過(guò)程中，優(yōu)化目標(biāo)函數(shù)寫成：

判別器先最大化L_CGAN(D,G)，然后生成器最小化L_CGAN(D,G)，即判別器在輸入為{x,y}時(shí)，D(x,y)接近于1；在輸入為{x,G(x)}時(shí)，D(x,G(x))接近于0，從而正確區(qū)分出數(shù)據(jù)來(lái)源；生成器在金標(biāo)準(zhǔn)y的指導(dǎo)下生成接近于y的G(x)，以至于判別器做出錯(cuò)誤的判斷；當(dāng)判別器做出正確判斷時(shí)，進(jìn)一步優(yōu)化判別器，當(dāng)判別器做出錯(cuò)誤判斷時(shí)，生成器結(jié)合金標(biāo)準(zhǔn)進(jìn)行網(wǎng)絡(luò)優(yōu)化，判別器和生成器兩者相互博弈，直到納什平衡，從而得到最優(yōu)的生成器網(wǎng)絡(luò)G^*；加入交叉熵?fù)p失函數(shù)和L2正則項(xiàng)以懲罰y與G^*的距離，同時(shí)防止過(guò)擬合：

L_seg(G)＝E_{x,y～Pdata(x,y)}[-y·logG(x)-(1-y)·log(1-G(x))] (3)

L_l2(G)＝E_{x,y～Pdata(x,y)}[||y-G(x,y)||²] (4)

將生成對(duì)抗損失函數(shù)、交叉熵?fù)p失函數(shù)和L2正則項(xiàng)進(jìn)行結(jié)合，得到最終的目標(biāo)函數(shù)為：

其中λ₁和λ₂用于平衡目標(biāo)函數(shù)，采用Adam算法優(yōu)化目標(biāo)函數(shù)，最后由Softmax激活函數(shù)對(duì)血管圖像精分割。

2.根據(jù)權(quán)利要求1所述的一種融合W-net和條件生成對(duì)抗網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法，其特征是：所述Image判別器一共有五個(gè)卷積塊和一個(gè)全連接層，前四個(gè)卷積塊后跟隨一個(gè)2×2的最大池化層，最后一個(gè)卷積塊跟隨一個(gè)全局平均池化層，每個(gè)卷積塊由兩組3×3標(biāo)準(zhǔn)卷積、BN和修正線性單元ReLU組成。