[發明專利]基于空洞卷積和多尺度融合的黑色素瘤分割方法

在審

• 申請號: 202011094831.1
• 申請日: 2020-10-14
• 公開（公告）號: CN112446890A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 張聚;潘偉棟;俞倫端;陳德臣;牛彥;施超
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/00;G06T7/41;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.基于空洞卷積和多尺度融合的黑色素瘤分割方法，包括以下步驟：

步驟1)預處理醫學圖像；

對采集到的皮膚鏡圖像的數據按照7：1：2劃分為訓練集，驗證集和測試集，并將圖像像素大小設置為128*128；對用于網絡訓練的訓練集圖像做數據增廣處理，在-30°至30°范圍隨機旋轉，隨機水平翻轉和隨機縮放至原圖0.8和1.2倍之間；

步驟2)構建具有靈活感受野的多尺度聚合網絡模型；

2.1構建通道注意空洞卷積模塊用于特征提取；

以通道注意空洞卷積層代替U-Net中的編碼層，將步驟1)中的皮膚鏡圖像作為輸入，輸出提取到的特征圖feature map為后續網絡提供輸入；每一層都使用三個平行的空洞卷積提取特征，每個空洞卷積的擴張率都不同；然后對提取到的特征圖進行全局平均池化操作，通過考慮每個通道及其k個鄰居通道，捕獲跨通道交互信息，為特征圖的每個通道重新分配權重，然后將三個特征圖相加得到這一層的輸出特征圖；淺層通常學習到簡單的紋理信息，隨著層數越深，將捕獲到復雜的抽象信息；

下采樣共采用5個通道注意空洞卷積層，每層使用三個平行的空洞卷積的卷積核大小均為3*3，擴張率分別設置為1、2、3，步長stride＝1，填充padding與各自的擴張率相同，池化pooling操作均采用2*2最大池化；輸入128*128*3的圖片，同時經過64個卷積核的三個空洞卷積得到三個通道數為64的特征圖feature map，之后經過通道關注模塊全局平均池化操作得到1*1*C大小的向量，然后采用卷積核大小為3的1*1卷積獲得跨通道信息，之后用Sigmoid函數激活，與原先特征圖系數相乘為每個通道分配各自的權重，最后相加得到128*128*64的特征圖，采用一個pooling操作作為下一層編碼層的輸入；重復這樣的五次操作，編碼層分別得到通道數為64、128、256、512、1024的特征圖；模塊可以描述為：

其中D表示空洞卷積，k表示擴張率，C表示通道關注模塊，f表示輸入的特征；

2.2構建聚合交互模塊，即AIM；

聚合交互模塊的提出是為了彌補編碼層和對應的解碼層的特征圖之間的語義差距，抑制跳躍連接可能引起的噪聲；U-Net中將兩者直接聚合，由于兩者之間的語義信息相差較大，會產生信息冗余的噪聲，因此會影響最終的分割結果；AIM從相鄰的編碼層接收特征圖f^i-1、fⁱ、fⁱ⁺¹，通過一個3*3的卷積層降低特征的通道數以減少計算量；接著每一分支B采用池化或插值操作縮放至相鄰分支特征圖大小，每個分支融合采用系數相加；最后，所有分支被整合到一個卷積層中，為了訓練更容易優化，輸出加入了殘差模塊；整個模塊過程可以寫成：

其中I和M分別表示殘差映射和分支合并，Bⁱ表示i分支的操作，f表示輸入的特征；

2.3構建解碼層；

解碼層將編碼層得到的特征圖進行上采樣操作，然后與聚合交互模塊輸出的特征圖進行系數相加，經過兩次3*3的卷積層操作后得到輸出特征圖；在最后一解碼層后接一個1*1的卷積層以及Sigmoid函數處理得到最終的分割結果；Sigmoid函數定義如下：

步驟3)將訓練集數據輸入模型中進行訓練；

將步驟1)中的處理好的訓練集輸入到步驟2)中構建好的網絡模型中，采用隨機初始化和Adam優化方法；設置初始化學習率、動量、迭代次數，根據設置好的訓練策略進行訓練；首先將輸入的訓練集進行數據增廣處理然后進行訓練，然后將驗證集在訓練后的網絡模型上得到驗證結果，之后按梯度更新一次，重復這樣的步驟直到達到迭代次數；

批次大小為12，epoch為80，初始學習率為0.0001，動量為0.9；對訓練得到的prediction與groundtruth采用tversky loss+consistency-enhanced loss進行訓練，損失函數可以寫成：

L_total＝L_tver(p，g，α，β)+L_cel(p，g) (7)

其中α設置為0.3，β設置為0.7，p和g分別表示預測圖和標定好的標準圖；

步驟4)皮膚鏡圖像病灶區域分割；

將測試集數據輸入步驟3)中訓練好的預測模型中，得到分割結果，由評估指標評價分割結果好壞，包括精確度(AC)，骰子系數(DI)，雅卡爾指標(JA)，靈敏度(SE)，評估指標計算方式如下：

其中，TP為真陽性，TN為真陰性，FP為假陽性，FN為假陰性。根據評價指標說明本發明能夠輔助分割皮膚鏡圖像。