[發明專利]基于分割和分類相融合的糖尿病性視網膜病變檢測方法

在審

• 申請號: 202211290018.0
• 申請日: 2022-10-21
• 公開（公告）號: CN115661066A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 陳宇;徐仕豹
• 申請（專利權）人: 東北林業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/26;G06V10/764;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于分割和分類相融合的糖尿病性視網膜病變檢測方法，其特征在于：包括如下步驟：

步驟1：獲取IDRiD和DDR公開的數據集，同時對數據集進行預處理；

步驟2：使用設計的ST-Net對NPDR和PDR數據進行分類；

步驟3：基于傳統的UNet網絡，對其中的Encoder進行改進，并融入Vision Transformer(構成MT-SNet)對NPDR的視網膜病變分割。并將分割的病變再融入到對應的原始視網膜圖中；

步驟4：使用所設計的SRVGG對分割后的NPDR數據進行分類。

步驟1包括如下步驟：

步驟1.1：獲取IDRiD和DDR公開的數據，其中IDRiD數據集采集431張視網膜圖片，其中含有病變的一共81張，54張作為訓練集，27張作為測試集，同時對每張圖片進行標注了病變等級；

步驟1.2：DDR數據集采集了13673張視網膜圖片，其中6835張作為訓練集，2733張作為驗證集，4105張作為測試集，同時對其中的757張圖片進行了病變標注；

步驟1.3：先對數據進行裁剪，將多余的黑色邊框裁剪掉。同時利用直方圖均衡化實現數據對比度增強；

步驟1.4：通過重采樣的方式實現類平衡。先對數據量大的類縮減樣本，再通過旋轉、裁剪、反轉等方式對數據量小的類擴增。

步驟2包括如下步驟：

步驟2.1：在ResNet-50的基礎上添加RGA注意力機制，構成新的ST-Net；

步驟2.2：使用ST-Net對NPDR和PDR數據進行分類。

步驟3包括如下步驟：

步驟3.1:在UNet基礎上，將其Encoder部分替換為VGG16，同時對卷積進行分塊，并去掉最后的全連接層；

步驟3.2:在修改后的UNet中引入Vision Transformer；

步驟3.2.1:對Encoder得到的圖像進行序列化；

Encoder得到的矩陣格式不符合Vision Transformer的輸入格式。按著VisionTransformer的介紹，需要經過一個圖像序列化的過程，將輸入的圖像形狀重塑為2Dpatch，patch的表示如公式(1)：

其中每個patch的大小是P×P，是圖像patch的數量(即輸入序列長度)。

步驟3.2.2:獲取并添加病變的位置信息；

經過圖像序列化之后，使用可訓練線性投影將矢量化patches Xp映射到潛在的D維嵌入空間。為了編碼Patch的空間信息，我們學習了特定的病變位置信息。這些位置被添加到patch中，以保留位置信息，具體過程如公式(2)。

其中E是patch的嵌入投影，表示學習到的病變位置。

步驟3.2.3:帶有病灶位置的序列輸入到Vision Transformer中進行特征提取，重復十二次；

Vision Transformer塊由L層多頭自我注意(MSA)和多層感知機(MLP)塊組成(公式(3)(4))。因此，第τ_th層的輸出可寫入如下。

Q′ε＝MSA(LN(Qε-1))+Qε-1 (3)

Qε＝MLP(LN(Q′ε))+Q′ε (4)

其中LN(～)表示層歸一化操作符，Qε表示編碼圖像表示。

步驟3.3:利用分割網絡將視網膜圖像的病變進行分割，并將分割后的圖像與原始對應的圖像融合。

步驟4包括如下步驟：

步驟4.1基于RepVGG，在此基礎上加入空間注意力機制，構成SRVGG；

步驟4.2利用分割后DDR數據集訓練網絡；

步驟4.3利用SRVGG對DDR數據集進行分類，實現NPDR的分類,最終結合第一階段的結果，實現DR五分類，計算過程如公式(5)。