[發明專利]一種具有混合編碼器的高效皮膚病變分割方法

在審

• 申請號: 202310241672.0
• 申請日: 2023-03-08
• 公開（公告）號: CN116188451A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 彭靜;馬玉良;席旭剛
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06N3/0464;G06N3/0455
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種具有混合編碼器的高效皮膚病變分割方法，針對現有技術不能準確分割病灶的問題，提出的技術方案為：首先使用CNN提取不同尺度的特征，接著Transformer對來自CNN特征映射的標記化圖像塊進行編碼，作為提取全局上下文的輸入序列。此外提出了多級特征級聯融合，以實現編碼與解碼的特征分布。最后，在解碼塊中加入CBAM，以增強相鄰級別特征的融合。在三個皮膚損傷分割的公共數據集(ISIC2018、ISIC2016和PH2)上驗證了本發明的有效性和魯棒性，在三個數據集上始終優于現有方法。

技術領域

本發明涉及一種具有混合編碼器的高效皮膚病變分割方法，具體是一種將皮膚病變圖像采用混合編碼方式進行訓練后得到分割結果的方法，屬于皮膚病變圖像分割處理技術領域。

背景技術

對于皮膚病變圖像分割，傳統圖像分割方法主要有直方圖閾值處理法、無監督聚類法、基于邊緣和區域的方法、活動輪廓法和監督學習分割方法。傳統的分割方法大多需要對輸入的皮膚圖像進行較為復雜的預處理，得到感興趣的區域后，才開始后續的分割操作，步驟繁瑣且約束性較強。不像傳統方法依賴于手工特征，CNN實現了特征工程的自動化且只需對輸入數據進行較少的預處理。因此，在過去幾年中已成為皮膚病變圖像分割的首選方法。但傳統的CNN還存在諸多問題，由于卷積運算的內部局限性，通常會忽略全局上下文信息，造成誤分割。因此，豐富的全局上下文信息可以有效定位皮損的位置和邊界，從而提高分割性能。Transformer模型僅采用自注意力機制來捕獲遠程依賴關系，可以對全局上下文信息進行建模，但直接使用Transformer作為編碼器提取特征，然后直接將特征上采樣到全分辨率的密集預測輸出，往往無法取得令人滿意的結果。這是因為Transformer注重在所有階段對全局上下文進行建模，但對低級特征信息獲取不充分，導致其定位能力方面受到限制。

發明內容

為了克服現有技術的不足，使用極坐標轉換作為訓練數據的預處理步驟，采用編碼解碼結構。編碼器是由CNN和Transformer組成的混合編碼器，先通過CNN提取不同尺度的特征，然后Transformer將來自CNN特征圖的標記化圖像塊編碼為用于提取全局上下文的輸入序列。相比傳統的僅使用CNN提取特征，整個網絡不僅通過Transformer建模了全局長距離依賴，而且CNN還捕獲到了足夠多的細節特征。此外，采用多級特征級聯融合模塊來增強endocer和decoder中兩個特征圖之間的特征融合，并在解碼塊中添加CBAM以增強相鄰級別特征的融合。

按照本發明提供的技術方案，提出了一種具有混合編碼器的高效皮膚病變分割方法，包括以下步驟：

步驟一：確定訓練集和測試集，對彩色圖像進行極坐標轉換的預處理；

步驟二：構建CNN和Transformer的混合編碼模塊；

步驟三：構建多級特征級聯融合模塊；

步驟四：構建雙注意力解碼模塊；

步驟五：將所述的混合編碼模塊、多級特征級聯融合模塊和雙注意力解碼模塊組成網絡模型，構建基于CNN和Transformer的皮膚病變圖像分割網絡模型并對模型進行訓練，得到所需的分割網絡；

步驟六：將測試集輸入步驟五得到的分割網絡，得到分割后的圖像。

所述步驟二具體包括：

S2.1：對預處理后的圖像數據X∈R^H×W×3輸入到ResNet50組成的CNN特征提取網絡中，其中H×W是圖像分辨率，3是通道數，實現圖像數據從高分辨率圖像到低分辨率圖像的轉換，完成像素的粗提取，同時保留N層中低層特征(N≤3)；