[發(fā)明專(zhuān)利]一種基于注意力雙支路特征融合的食管早癌病灶分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310532910.3
• 申請(qǐng)日: 2023-05-11
• 公開(kāi)（公告）號(hào): CN116563252A
• 公開(kāi)（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 李小霞;孟延宗;周穎玥;劉曉蓉;張曉強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西南科技大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06V10/80;G06T3/40;G06V10/26;G06V10/764;G06V10/774;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張博

1.一種基于注意力雙支路特征融合的食管早癌病灶分割方法，包括：

對(duì)食管內(nèi)鏡圖像進(jìn)行預(yù)處理，得到目標(biāo)內(nèi)鏡圖像；

利用深度學(xué)習(xí)模型包括的編碼器網(wǎng)絡(luò)處理所述目標(biāo)內(nèi)鏡圖像，得到第一特征圖像；

利用所述深度學(xué)習(xí)模型包括的空洞空間金字塔池化模塊處理所述第一特征圖像，得到第二特征圖像；

對(duì)于所述深度學(xué)習(xí)模型包括的多個(gè)金字塔引導(dǎo)融合模塊中的每個(gè)所述金字塔引導(dǎo)融合模塊，利用所述深度學(xué)習(xí)模型包括的金字塔引導(dǎo)融合模塊來(lái)融合所述編碼器網(wǎng)絡(luò)包括的多個(gè)階段網(wǎng)絡(luò)中的多個(gè)第一目標(biāo)階段網(wǎng)絡(luò)各自的輸出特征，得到第三特征圖像；以及

利用所述深度學(xué)習(xí)模型包括的解碼器網(wǎng)絡(luò)處理所述第一特征圖像和多個(gè)所述第三特征圖像，得到所述食管內(nèi)鏡圖像的語(yǔ)義分割圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述利用所述深度學(xué)習(xí)模型包括的金字塔引導(dǎo)融合模塊來(lái)融合所述編碼器網(wǎng)絡(luò)包括的多個(gè)階段網(wǎng)絡(luò)中的多個(gè)第一目標(biāo)階段網(wǎng)絡(luò)各自的輸出特征，得到第三特征圖像，包括：

從所述多個(gè)第一目標(biāo)階段網(wǎng)絡(luò)中確定第二目標(biāo)階段網(wǎng)絡(luò)；

基于所述第二目標(biāo)階段網(wǎng)絡(luò)的輸出特征的尺寸，分別對(duì)所述多個(gè)第一目標(biāo)階段網(wǎng)絡(luò)各自的輸出特征進(jìn)行采樣，得到多個(gè)第五編碼特征圖像；

對(duì)所述多個(gè)第五編碼特征圖像進(jìn)行拼接，得到第六編碼特征圖像；

分別使用多個(gè)空洞卷積層處理所述第六編碼特征圖像，得到多個(gè)第七編碼特征圖像，其中，所述多個(gè)空洞卷積層之間的空洞率不同；以及

對(duì)所述多個(gè)第七編碼特征圖像進(jìn)行拼接，得到所述第三特征圖像。

3.根據(jù)權(quán)利要求2所述的方法，還包括：

基于多個(gè)所述第二目標(biāo)階段網(wǎng)絡(luò)各自的輸出特征的尺寸，從所述解碼器網(wǎng)絡(luò)包括的多個(gè)網(wǎng)絡(luò)階段中確定多個(gè)第三目標(biāo)階段網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述解碼器網(wǎng)絡(luò)包括雙支路上采樣模塊；

其中，所述利用所述深度學(xué)習(xí)模型包括的解碼器網(wǎng)絡(luò)處理所述第一特征圖像和多個(gè)所述第三特征圖像，得到所述食管內(nèi)鏡圖像的語(yǔ)義分割圖像，包括：

對(duì)于所述解碼器網(wǎng)絡(luò)包括的多個(gè)階段網(wǎng)絡(luò)中的每個(gè)階段網(wǎng)絡(luò)，在所述階段網(wǎng)絡(luò)為所述第三目標(biāo)階段網(wǎng)絡(luò)的情況下，將所述階段網(wǎng)絡(luò)的輸出特征和與所述第三目標(biāo)階段網(wǎng)絡(luò)對(duì)應(yīng)的第三特征圖像進(jìn)行拼接，得到第一解碼特征圖像，并將所述第一解碼特征圖像作為所述階段網(wǎng)絡(luò)的下一個(gè)階段網(wǎng)絡(luò)的輸入特征；

在所述階段網(wǎng)絡(luò)的輸出端連接有雙支路上采樣模塊的情況下，利用所述雙支路上采樣模塊處理所述階段網(wǎng)絡(luò)的輸出特征，得到第二解碼特征圖像，并將所述第二解碼特征圖像作為所述階段網(wǎng)絡(luò)的下一個(gè)階段網(wǎng)絡(luò)的輸入特征；以及

在所述階段網(wǎng)絡(luò)為最后一個(gè)階段網(wǎng)絡(luò)的情況下，基于所述階段網(wǎng)絡(luò)的輸出特征，得到所述語(yǔ)義分割圖像。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述利用所述雙支路上采樣模塊處理所述階段網(wǎng)絡(luò)的輸出特征，得到第二解碼特征圖像，包括：

對(duì)所述階段網(wǎng)絡(luò)的輸出特征進(jìn)行雙三次插值處理，得到第三解碼特征圖像；

對(duì)所述階段網(wǎng)絡(luò)的輸出特征進(jìn)行像素重構(gòu)上采樣處理，得到第四解碼特征圖像；以及

將所述第三解碼特征圖像和所述第四解碼特征圖像進(jìn)行拼接，得到所述第二解碼特征圖像。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)食管內(nèi)鏡圖像進(jìn)行預(yù)處理，得到目標(biāo)內(nèi)鏡圖像，包括：

對(duì)所述食管內(nèi)鏡圖像進(jìn)行顏色空間變換，得到中間內(nèi)鏡圖像；以及

使用標(biāo)準(zhǔn)正態(tài)分布對(duì)所述中間內(nèi)鏡圖像進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，得到所述目標(biāo)內(nèi)鏡圖像。