[發明專利]一種基于對抗學習的糖尿病視網膜疾病的篩查裝置及方法

有效

• 申請號: 201911063077.2
• 申請日: 2019-10-31
• 公開（公告）號: CN110827258B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 辛景民;劉思杰;武佳懿;石培文;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李紅霖

1.一種基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，包括擴展網絡模塊、判別網絡模塊和訓練模塊；

訓練模塊，用于按照下述方法訓練擴展網絡模塊和判別網絡模塊，以得到訓練好擴展網絡模塊和判別網絡模塊，訓練模塊的訓練方法如下：

1)采用ILSVRC數據集預訓練的ResNet34神經網絡單元的權值來初始化ResNet34神經網絡單元，并將初始化后的ResNet34神經網絡單元用于圖像重建任務的訓練；

2)采用步驟1)中重建任務訓練的權值來初始化ResNet34神經網絡單元和重建單元；

3)采用訓練數據集對抗訓練擴展網絡模塊和判別網絡模塊，直至擴展網絡模塊的總損失函數收斂；

其中，對抗訓練過程中，訓練數據集中僅有標注的視網膜圖像參與分類器單元的訓練；

擴展網絡模塊包括一個ResNet34神經網絡單元、兩個分類器單元和一個重建單元；

ResNet34神經網絡單元，用于接收有標注和無標注的視網膜圖像，輸出各個層的特征，并執行訓練模塊的訓練；

其中，有標注視網膜圖像為按照糖尿病性視網膜病變程度分級標注的圖像，無標注視網膜圖像為無分級標注的圖像；

第一分類器單元，用于接收視網膜圖像的頂層特征，輸出分類結果，并執行訓練模塊的訓練；

第二分類器單元，用于接收視網膜圖像的若干中間層特征，輸出分類結果，并執行訓練模塊的訓練；

重建單元，用于接收各個層的特征，輸出重建圖像，并執行訓練模塊的訓練；

判別網絡模塊，用于接收有標注、無標注的視網膜圖像和重建圖像，輸出判別結果，并執行訓練模塊的訓練。

2.根據權利要求1所述的基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，訓練方法的步驟3)具體包括：

301)固定擴展網絡模塊的權值，利用SGD算法訓練并更新一次判別網絡模塊的權值；

302)固定判別網絡模塊的權值，利用SGD算法訓練并更新一次擴展網絡模塊的權值；

303)重復步驟301)-302)，直至擴展網絡模塊的總損失函數收斂。

3.根據權利要求1所述的基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，有標注視網膜圖像包括無、輕度、中度、重度和增殖性五類分級標注圖像；

其中，無、輕度屬于非可參考的糖尿病性視網膜病變階段，中度、重度和增殖性為可參考的糖尿病性視網膜病變階段。

4.根據權利要求3所述的基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，分類器單元輸出分類結果為可參考和非可參考兩個結果。

5.根據權利要求1所述的基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，第一分類器單元由一個全局平均池化層和一個全連接層組成的深度神經網絡；

第二分類器單元由3個卷積層、兩個串聯層、一個平均池化層和一個全連接層組成的深度神經網絡。

6.根據權利要求1所述的基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，重建單元為若干融合層、一個反卷積層和一個卷積層依次堆疊而成的深度神經網絡。

7.根據權利要求1所述的基于半監督對抗學習的糖尿病視網膜疾病的篩查裝置，其特征在于，判別網絡模塊為五個卷積層和PRelu層、一個全局池化層和一個全連接層依次堆疊而成的深度神經網絡。

8.一種基于半監督對抗學習的糖尿病視網膜疾病的篩查方法，其特征在于，包括以下步驟：

1)訓練階段

采用ILSVRC數據集預訓練的ResNet34神經網絡單元的權值來初始化ResNet34神經網絡單元，并將初始化后的ResNet34神經網絡單元用于圖像重建任務的訓練；

采用重建任務訓練的權值來初始化ResNet34神經網絡單元和重建單元；

采用訓練數據集對抗訓練擴展網絡模塊和判別網絡模塊，直至擴展網絡模塊的總損失函數收斂，完成訓練；

其中，對抗訓練過程中，訓練數據集中有標注的視網膜圖像參與擴展網絡模塊的ResNet34神經網絡單元和分類器單元的訓練；訓練數據集中無標注的視網膜圖像參與擴展網絡模塊的ResNet34神經網絡單元和重建單元的訓練；無標注的視網膜圖像、有標注的視網膜圖像以及擴展網絡模塊重建的視網膜圖像均參與判別網絡模塊的訓練；

其中，擴展網絡模塊包括ResNet34神經網絡單元、分類器單元和重建單元；

2)篩查階段

ResNet34神經網絡單元接收有標注和無標注的視網膜圖像，輸出各個層的特征；

其中，有標注視網膜圖像為按照糖尿病性視網膜病變程度分級標注的圖像，無標注視網膜圖像為無分級標注的圖像；

第一分類器單元接收ResNet34神經網絡單元輸出的頂層特征，輸出第一分類結果；

第二分類器單元接收ResNet34神經網絡單元輸出的若干中間層特征，輸出第二分類結果；

其中，第一分類結果和第二分類結果的平均值作為最終篩查結果；

重建單元接收各個層的特征，輸出重建圖像；

判別網絡模塊接收有標注、無標注的視網膜圖像和重建圖像，輸出判別結果。