[發明專利]一種基于注意力機制的早產兒視網膜圖像分類方法和裝置

有效

• 申請號: 202010089915.X
• 申請日: 2020-02-13
• 公開（公告）號: CN111259982B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 陳新建;彭圓圓;朱偉芳
• 申請（專利權）人: 蘇州大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 丁朋華

本發明公開了一種基于注意力機制的早產兒視網膜圖像分類方法和裝置，包括步驟：將待識別的二維視網膜眼底圖像進行預處理，得到預處理后的二維視網膜眼底圖像；將預處理后的二維視網膜眼底圖像輸入到預先訓練好的深度注意力網絡模型中，輸出圖像的分類結果識別出早產兒視網膜病變ROP圖像；所述深度注意力網絡模型為在原始ResNet18網絡的第三個殘差層和第四個殘差層后分別添加互補殘差注意力模塊和通道注意力SE模塊。本發明能夠獲取豐富且重要的全局和局部信息，使得網絡能夠學習到正確的病變特征，從而使得分類網絡能較好解決病變與背景之間極大的數據不平衡問題，進而提高深度注意力網絡模型的分類性能。

技術領域

本發明涉及視網膜圖像分類技術領域，具體涉及一種基于注意力機制的早產兒視網膜圖像分類方法和裝置。

背景技術

早產兒視網膜病變(Retinopathy?of?Prematurity,ROP)是一種視網膜血管增生性疾病，主要見于早產兒(胎齡小于32周)和低出生體重兒(體重低于1500克)及高水平的氧氣補充，是全球兒童致盲的主要原因。由于成像質量受焦點、光照、眼球運動等因素的影響，早產兒視網膜眼底彩照圖像存在質量非常低、病變區域與背景分布不平衡等問題，因此基于視網膜眼底彩照的ROP自動識別存在很大的挑戰性。

近年來，隨著深度學習的迅速發展，許多基于卷積神經網絡(ConvolutionalNeural?Networks，CNN)的深度學習方法應用于醫學圖像分析。Worrall等人使用ImageNet預訓練的GoogLeNet網絡對ROP中是否存在附加疾病(即血管的迂曲和膨脹)進行了分類，識別出異常和正常圖像，這是首次嘗試使用深度神經網絡來識別附加疾病。Wang等人利用ImageNet上預訓練的Inception-v2網絡識別ROP的存在和嚴重程度。Zhang等人使用在ImageNet上預訓練的VGG16網絡來識別ROP。但是，大多數基于CNN(卷積神經網絡)的方法都沒有考慮ROP圖像中疾病特征與背景分布不平衡導致ROP圖像分類不準確的問題。

發明內容

為解決現有技術中的不足，本發明提供一種基于注意力機制的早產兒視網膜圖像分類方法和裝置，解決了現有技術沒有考慮ROP圖像中疾病特征與背景分布不平衡導致ROP圖像分類不準確的問題。

為了實現上述目標，本發明采用如下技術方案：一種基于注意力機制的早產兒視網膜圖像分類方法，包括步驟：

將待識別的二維視網膜眼底圖像進行預處理，得到預處理后的二維視網膜眼底圖像；

將預處理后的二維視網膜眼底圖像輸入到預先訓練好的深度注意力網絡模型中，輸出圖像的分類結果識別出早產兒視網膜病變ROP圖像；

所述深度注意力網絡模型為在原始ResNet18網絡的第三個殘差層和第四個殘差層后分別添加互補殘差注意力模塊和通道注意力SE模塊。

進一步的，所述互補殘差注意力模塊包括：通道注意力SE模塊、最大池化層、平均池化層、二維卷積層、sigmoid層；SE模塊用于將輸入的特征圖在通道維度上重新標定得到新的特征圖，重新標定后的新的特征圖以通道為單位通過最大池化層、平均池化層分別進行最大池化和平均池化操作，并將兩者的結果在通道方向進行合并，再經過一個二維卷積和sigmoid激活函數得到特征圖空間權重，再將特征圖空間權重與原始ResNet18網絡的第三個殘差層的輸出特征圖進行點積，得到點積后的特征圖，將第三個殘差層的輸出特征圖乘以殘差因子1-E后與點積之后的特征圖進行相加，得到輸出的特征圖；E為：互補殘差注意力模塊中SE模塊計算得到的特征圖的權重系數。