[發(fā)明專利]一種具有混合編碼器的高效皮膚病變分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310241672.0
• 申請(qǐng)日: 2023-03-08
• 公開（公告）號(hào): CN116188451A
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 彭靜;馬玉良;席旭剛
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/10;G06N3/0464;G06N3/0455
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種具有混合編碼器的高效皮膚病變分割方法，其特征在于：包括以下步驟：

步驟一：確定訓(xùn)練集和測(cè)試集，對(duì)彩色圖像進(jìn)行極坐標(biāo)轉(zhuǎn)換的預(yù)處理；

步驟二：構(gòu)建CNN和Transformer的混合編碼模塊；

步驟三：構(gòu)建多級(jí)特征級(jí)聯(lián)融合模塊；

步驟四：構(gòu)建雙注意力解碼模塊；

步驟五：將所述的混合編碼模塊、多級(jí)特征級(jí)聯(lián)融合模塊和雙注意力解碼模塊組成網(wǎng)絡(luò)模型，構(gòu)建基于CNN和Transformer的皮膚病變圖像分割網(wǎng)絡(luò)模型并對(duì)模型進(jìn)行訓(xùn)練，得到所需的分割網(wǎng)絡(luò)；

步驟六：將測(cè)試集輸入步驟五得到的分割網(wǎng)絡(luò)，得到分割后的圖像。

2.根據(jù)權(quán)利要求1所述的一種具有混合編碼器的高效皮膚病變分割方法，其特征在于：所述步驟二具體包括：

S2.1：對(duì)預(yù)處理后的圖像數(shù)據(jù)X∈R^H×W×3輸入到ResNet50組成的CNN特征提取網(wǎng)絡(luò)中，其中H×W是圖像分辨率，3是通道數(shù)，實(shí)現(xiàn)圖像數(shù)據(jù)從高分辨率圖像到低分辨率圖像的轉(zhuǎn)換，完成像素的粗提取，同時(shí)保留N層中低層特征(N≤3)；

S2.2：Transformer將來自CNN特征圖的標(biāo)記化圖像塊編碼為用于提取全局上下文的輸入序列，為匹配Transformer層的輸入，要將2D高級(jí)特征序列化為1D編碼序列X∈R^L×C，其中經(jīng)過序列化的圖像丟失了原有的位置信息，因此Transformer給編碼序列拼接一個(gè)可學(xué)習(xí)的位置編碼矩陣來學(xué)習(xí)圖片的位置信息；

S2.3：編碼器由12個(gè)Transformer層堆疊而成，而Transformer層的核心組件是多頭自注意力和多層感知機(jī)，定義三個(gè)可學(xué)習(xí)的權(quán)重矩陣將輸入特征向量X轉(zhuǎn)換為查詢矩陣Q、鍵值矩陣K和值矩陣V，將查詢矩陣Q與鍵值矩陣K的轉(zhuǎn)置相乘，得到兩者之間的相似度矩陣QK^T，此值越大，表明相關(guān)性越高，通過softmax函數(shù)對(duì)相似度矩陣進(jìn)行歸一化得到權(quán)重矩陣SA；

所述自注意力相關(guān)性矩陣的表達(dá)式為：

其中：D_q表示查詢矩陣或者鍵值矩陣的維度，最后輸出Z∈R^L×C為：

Z＝SA(X)＝AV????(2)

S2.4：其中分別表示第i個(gè)自注意力的線性變換矩陣，分別與輸入向量X_i相乘以獲取在不同空間上的投影，增強(qiáng)模型的表征能力，得到對(duì)應(yīng)的Q、K、V，然后把所有的輸出矩陣拼接起來，再與線性變換矩陣W^o相乘，得到最終的自注意力輸出矩陣；

所述多頭自注意力表達(dá)式為：

MSA(Q,K,V)＝Concat(head_i,…,head_i)????(3)

S2.5：多層感知機(jī)主要由兩個(gè)全連接層和一個(gè)線性激活層GeLu組成，每一層Transformer可以表達(dá)為如式：

z′_l＝MSA(z_l-1)+z_l-1

z_l＝MLP(z'_l)+z'_l?????(4)

其中，z_l是Transformer編碼器的最終輸出。

3.根據(jù)權(quán)利要求2所述的一種具有混合編碼器的高效皮膚病變分割方法，其特征在于：所述步驟三中，多級(jí)特征級(jí)聯(lián)融合模塊由內(nèi)核大小為3×3和1×1的卷積塊組成，將CNN提取到的不同尺度的特征經(jīng)過特征融合后再去參與解碼，根據(jù)CNN特征提取器的不同層的特征維度大小，采用卷積塊逐級(jí)遞減、通道數(shù)逐級(jí)遞加的方式設(shè)置MFCF模塊，具體步驟為：

S3.1：將CNN第一層提取到的特征經(jīng)過卷積塊個(gè)數(shù)為8、通道數(shù)為64的MFCF-1；

S3.2：將CNN第二層提取到的特征經(jīng)過卷積塊個(gè)數(shù)為4、通道數(shù)為128的MFCF-2；

S3.3：將CNN第三層提取到的特征經(jīng)過卷積塊個(gè)數(shù)為2、通道數(shù)為256的MFCF-3；

S3.4：MFCF-1、MFCF-2和MFCF-3參與后續(xù)解碼。