[發(fā)明專利]一種基于卷積注意力模型的皮膚病變分割方法

有效

• 申請?zhí)枺?/td>: 202010782877.6
• 申請日: 2020-08-06
• 公開（公告）號: CN113744178B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設計）人: 蔣蕓;曹思敏;陶生鑫;吳超;劉文歡
• 申請（專利權）人: 西北師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/90;G06T3/40;G06V10/82;G06V10/774;G06N3/0464;G06N3/084
• 代理公司: 北京同輝知識產(chǎn)權代理事務所(普通合伙) 11357
• 代理人: 江舟

1.一種基于卷積注意力模型的皮膚病變分割方法，該分割方法具體按以下步驟：

步驟1：選取ISIC-2017數(shù)據(jù)集和PH2數(shù)據(jù)集：

ISIC-2017數(shù)據(jù)集包含8位RGB皮膚鏡檢查圖像，圖像大小從540×722-4499×6748像素不等，數(shù)據(jù)集提供2000張訓練圖像、用于驗證的150張圖像的單獨數(shù)據(jù)集以及用于測試的600張圖像的單獨數(shù)據(jù)集，數(shù)據(jù)集中所有皮膚鏡檢查圖像分別被標記為良性痣、黑色素瘤或脂溢性角化病，PH2數(shù)據(jù)集包含200張圖像，其中160張圖像為痣，分為普通痣和非典型性痣，其余40張圖像為黑色素瘤，PH2數(shù)據(jù)集中的圖像是大小固定為768×560像素的8位RGB圖像，在相同條件下使用20倍放大倍數(shù)采集；

步驟2：數(shù)據(jù)預處理：

將ISIC-2017數(shù)據(jù)集中的2000張訓練圖像與150張測試圖像合并，生成2150張皮膚鏡檢查圖像的訓練數(shù)據(jù)集，為了了解不同的色彩空間特征，在以RGB形式存在的2150張皮膚鏡檢查圖像上增加色相飽和度值的三個通道，生成2150張HSV形式的皮膚鏡檢查圖像，利用水平旋轉、垂直旋轉、水平垂直旋轉這三種旋轉方式隨機生成樣本，使得訓練數(shù)據(jù)集擁有17200張皮膚鏡圖像，每個樣例的右上為水平旋轉、左下為垂直旋轉、右下為水平垂直旋轉，由于原始圖像大小從540×722-4499×6748像素，按照原始圖像的寬高比將圖像的寬調(diào)整為256px，圖像上下填充黑邊，將高增加到256px，以此來組成訓練圖像；

步驟3：訓練卷積神經(jīng)網(wǎng)絡模型：

建立網(wǎng)絡模型，該網(wǎng)絡模型是一個端到端的多標簽深度網(wǎng)絡，由多個注意力模塊、多尺度輸入層、U型卷積網(wǎng)絡以及側輸出層組成：

注意力模塊：網(wǎng)絡模型利用卷積注意力模塊提取圖像特征，每個卷積注意力模塊由固定模式的1×1、3×3、1×1卷積層、通道注意力模塊和空間注意力模塊依次堆疊；

在通道注意力模塊中，利用特征通道間關系生成通道注意圖，將輸入特征F_C∈R^C×H×W，通過使用平均池化和最大池化操作來聚合特征圖的空間信息，生成平均池化特征和最大池化特征，將生成的兩個特征傳送到由Fc1層、Relu激活函數(shù)和Fc2層組成的多層感知器中進行維度變換和矩陣乘積，獲得兩個通道的關聯(lián)強度，分別輸出特征圖和然后對通道間的注意力特征圖使用逐元素求和，使得各個通道之間能產(chǎn)生全局的關聯(lián)，以進一步增強特征表示，合并輸出的特征圖X_C，如公式(1)所示，再經(jīng)過sigmoid操作獲得最終輸出的通道注意力特征圖A_C如等式(2)所示：

(1)式和(2)式中，表示逐元素相加；C表示通道個數(shù)；Xi,1,1表示坐標為(i,1,1)的元素；∪表示逐元素拼接；

在空間注意力模塊中，將原始特征FS∈RC×H×W，沿通道軸使用平均池化和最大池化操作匯總特征圖的通道信息，以生成兩個二維特征圖，再對特征進行加權融合，這樣對于各個位置的點，其通過注意力圖在全局空間中融合相似特征，之后利用卷積層生成2D空間注意圖為：

(3)式中，W，b分別表示MLP的權重，MLP的偏置；Cat(.)表示拼接；Conv(.)表示卷積操作，其中C、H、W分別表示特征圖的通道數(shù)、寬及高，里的W表示W(wǎng)eight，Xs∈R^1×H×W里的W表示width；

最后再經(jīng)過sigmoid操作，獲得最終輸出的空間注意力特征圖A_S為：

其中，m，n分別表示m^thposition和n^thposition；∪表示逐元素拼接；

其中編碼器路徑：利用注意力模塊提取特征信息，使用步長為2的3×3卷積替代下采樣中的池化操作，在每層的卷積操作后使用批量標準化層對每個層特征圖進行歸一化，然后使用帶泄露整流激活函數(shù)將其激活，在編碼器路徑中，建立了多尺度輸入層，利用注意力模塊塊提取特征信息，使用步長為2的3×3卷積替代下采樣中的池化操作，將多尺度輸入建立于圖像進行下采樣過程的編碼路徑中，給定輸入尺寸為256×256的原始圖像，經(jīng)過三次下采樣過程分別獲得128×128、64×64和32×32三個不同尺寸的圖像，與原始圖像結合形成圖像金字塔；

其中解碼器路徑：利用步長為2的3×3反卷積層、批量標準化層以及注意力模塊輸出解碼器每層的特征圖，提取每層注意力模塊輸出特征圖，使用雙線性插值法將其擴展到原輸入圖像大小，采用卷積操作完成多尺度特征融合輸出對應層預測圖，并將這些預測圖相加后形成最終的預測圖；

其中側輸出層：使用雙線性插值法將輸出特征圖擴展到輸入圖像大小并采用步長為2的3×3卷積將每層多通道特征圖轉化為2通道特征圖，實現(xiàn)降維操作，每層輸出圖像使用交叉熵損失函數(shù)來計算輸出損失，對于樣本(x,y)，x＝﹛x_i，i＝1，…，N﹜表示為訓練數(shù)據(jù)，y＝﹛y_i，i＝1，…，N﹜為對應的標注數(shù)據(jù)，其中y_i＝﹛0,1﹜，第i個樣本被預測為1的概率為y_p，N表示樣本的總數(shù)，M表示多尺度輸出層數(shù)，此時M＝5，每個多輸出層的相應損失權重表示為a_i＝﹛a_i,i＝1，…，M﹜，并且a_i＝﹛0.1、0.1、0.1、0.1、0.6﹜，對于每個輸出圖像，分別計算損耗L，L定義為：

疊加每個輸出層的L(N)，最終的輸出損耗函數(shù)L為：