[發明專利]一種基于注意力機制的早產兒視網膜圖像分類方法和裝置

有效

• 申請號: 202010089915.X
• 申請日: 2020-02-13
• 公開（公告）號: CN111259982B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 陳新建;彭圓圓;朱偉芳
• 申請（專利權）人: 蘇州大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 丁朋華

1.一種基于注意力機制的早產兒視網膜圖像分類方法，其特征在于：包括步驟：

將待識別的二維視網膜眼底圖像進行預處理，得到預處理后的二維視網膜眼底圖像；

將預處理后的二維視網膜眼底圖像輸入到預先訓練好的深度注意力網絡模型中，輸出圖像的分類結果識別出早產兒視網膜病變ROP圖像；

所述深度注意力網絡模型為在原始ResNet18網絡的第三個殘差層和第四個殘差層后分別添加互補殘差注意力模塊和通道注意力SE模塊；

所述互補殘差注意力模塊包括：第二通道注意力SE模塊、最大池化層、平均池化層、二維卷積層、sigmoid層；所述第二通道注意力SE模塊用于將輸入的特征圖在通道維度上重新標定得到新的特征圖，重新標定后的新的特征圖以通道為單位通過最大池化層、平均池化層分別進行最大池化和平均池化操作，并將兩者的結果在通道方向進行合并，再經過一個二維卷積和sigmoid激活函數得到特征圖空間權重，再將特征圖空間權重與原始ResNet18網絡的第三個殘差層的輸出特征圖進行點積，得到點積后的特征圖，將第三個殘差層的輸出特征圖乘以殘差因子1-E后與點積之后的特征圖進行相加，得到輸出的特征圖；E為：互補殘差注意力模塊中SE模塊計算得到的特征圖的權重系數；

所述通道注意力SE模塊包括：全局平均池化層、兩個1*1卷積層、修正線性單元層和sigmoid層；將高度、寬度和通道數分別為h、w和C的特征圖先經過全局平均池化層進行壓縮操作，壓縮得到C*1*1大小的特征圖，再經過一個的卷積得到大小的特征圖，r表示壓縮率，接著經過一個修正線性單元層，進行了非線性變化操作，得到了新的大小的特征圖；再經過一個C*1*1的卷積得到大小為C*1*1的特征圖，再經過sigmoid激活函數，得到C個特征圖的權重系數E，最后將輸入的特征圖與得到的C個特征圖的權重系數E進行點積，得到經過選擇后的具有病變特征信息的特征圖。

2.根據權利要求1所述的一種基于注意力機制的早產兒視網膜圖像分類方法，其特征是：所述深度注意力網絡模型訓練過程為：

1)將正常和異常的二維眼底圖像按比例分為訓練數據集和驗證數據集，并進行預處理操作，對訓練數據集中的圖像數據進行數據增強；

2)將ResNet18網絡在ImageNet數據集上訓練的權重遷移至預先構建的深度注意力網絡模型上，將訓練數據集中的圖像輸入到遷移后的深度注意力網絡模型，進行一次前向傳播，得到每一分類的得分值，通過softmax激活函數，得出每一類的預測值，并計算所述預測值與真實分類值之間的交叉熵損失函數loss值，用Adam優化算法來最小化所述交叉熵損失函數loss值_；

3)通過驗證數據集驗證模型，保存驗證數據集上準確率最好的模型，得到訓練好的深度注意力網絡模型。

3.根據權利要求2所述的一種基于注意力機制的早產兒視網膜圖像分類方法，其特征是：所述預測值與真實分類值之間的交叉熵損失函數loss值通過下述公式計算：

其中，L表示預測值與真實分類值之間的交叉熵損失函數loss值，m表示訓練過程中樣本總數量，x表示輸入的訓練數據集中的圖像，y表示真實分類值，a表示深度注意力網絡模型的預測值，σ表示softmax激活函數，z表示得分值。

4.根據權利要求1或2所述的一種基于注意力機制的早產兒視網膜圖像分類方法，其特征是：所述預處理操作包括：下采樣和減均值。