[發明專利]基于級聯結構注意力機制網絡的結腸息肉分割方法

在審

• 申請號: 202210609169.1
• 申請日: 2022-05-31
• 公開（公告）號: CN114897870A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 李蘭蘭;張孝輝;鄧珂;王大彪
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T5/50;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 郭東亮;蔡學俊

1.基于級聯結構注意力機制網絡的結腸息肉分割方法，用于分割結腸鏡圖像中的結腸息肉區域，其特征在于：所述級聯結構注意力機制網絡CSAMNet包括由相似的第一級編解碼網絡、第二級編解碼網絡順序串聯成的級聯結構，其前一級網絡得到息肉分割概率圖，后一級網絡優化前一級網絡的結果，給予前一級網絡分類錯誤的像素重新學習的機會；在前一級網絡和后一級網絡間設置連接前一級網絡的解碼端和后一級網絡的編碼端的反向注意力模塊RA，用于使后一級網絡重新學習前一級網絡忽略的特征；所述級聯結構注意力機制網絡CSAMNet還內嵌有可學習不同尺寸息肉的多尺度特征的多尺度特征聚合模塊MFAM，用于增強級聯結構注意力機制網絡對圖像中不同尺寸息肉區域的適應能力。

2.根據權利要求1所述的基于級聯結構注意力機制網絡的結腸息肉分割方法，其特征在于：所述級聯結構注意力機制網絡CSAMNet運行時，結腸鏡圖像在前一級編解碼網絡編碼端通過交替堆疊的6個卷積模塊和5個池化層后得到的特征圖作為多尺度特征聚合模塊MFAM的輸入；多尺度特征聚合模塊MFAM的輸出特征作為前一級編解碼網絡解碼端的輸入。

3.根據權利要求2所述的基于級聯結構注意力機制網絡的結腸息肉分割方法，其特征在于：所述編解碼網絡解碼端的輸入通過交替堆疊的5個上采樣和5個卷積模塊得到前一級編解碼網絡輸出的息肉分割概率圖；前一級編解碼網絡的解碼端前4個通過上采樣操作得到的特征圖以像素級相加的方式整合來自編解碼網絡編碼端對應的特征圖，且前4個卷積模塊均有相應的側邊輸出和側邊輸出特征圖，側邊輸出和側邊輸出特征圖傳輸到用于連接前后兩級網絡的反向注意力模塊RA以產生反向注意力特征圖；

前一級編解碼網絡輸出的息肉分割概率圖作為后一級編解碼網絡的輸入；后一級編解碼網絡對前一編解碼級網絡的輸出結果進行優化得到精細的息肉分割結果。

4.根據權利要求3所述的基于級聯結構注意力機制網絡的結腸息肉分割方法，其特征在于：后一級編解碼網絡編碼端的輸入通過交替堆疊的6個卷積模塊、5個池化層和4個RA得到的特征圖作為多尺度特征聚合模塊MFAM的輸入；

后一級編解碼網絡編碼端前4個池化層輸出的特征圖以像素級相加的方式整合來自相應連接前后兩級編解碼網絡的反向注意力模塊RA輸出的反向注意力特征圖；

前一級編解碼網絡解碼端的側邊輸出傳輸到后一級編解碼網絡編碼端相應的反向注意力模塊RA；

多尺度特征聚合模塊MFAM的輸出特征圖作為編解碼網絡解碼端的輸入，該編解碼網絡解碼端和前一級編解碼網絡解碼端在結構上一致；由該編解碼網絡解碼端輸出結腸息肉的分割結果。

5.根據權利要求4所述的基于級聯結構注意力機制網絡的結腸息肉分割方法，其特征在于：前一級編解碼網絡解碼端的側邊輸出和側邊輸出特征圖經過反向注意力模塊RA產生反向注意力特征圖，此特征圖和后一級編解碼網絡編碼端相應的特征圖進行像素級相加的整合操作；

前一級網絡解碼端的側邊輸出傳輸到后一級網絡編碼端相應的反向注意力模塊RA，使得后一級網絡專注于學習前一級網絡忽略的特征。

6.根據權利要求5所述的基于級聯結構注意力機制網絡的結腸息肉分割方法，其特征在于：所述反向注意力模塊RA工作時，通過使后一級編解碼網絡專注于優化前一級編解碼網絡忽略的部分來進一步提高模型的學習能力，具體為：為了獲得RA的輸出特征圖F_output，輸入特征圖F_input和反向注意力圖S_reverse進行像素級的乘法得到加權特征圖F_mid，F_mid再和F_input進行像素級加法得到F_output，以增強信息傳播能力，計算過程以公式表述為：

通過使用全一張量O_all和進行像素級的減法得到S_reverse；前一級網絡解碼端的側邊輸出S_out經過Sigmoid函數得到計算過程以公式表述為：

S_reverse＝1-F_sigmoid(S_out) 公式二。