[發(fā)明專利]基于梯度類激活圖的眼部球結(jié)膜圖像質(zhì)量評估方法

有效

• 申請?zhí)枺?/td>: 202010972984.5
• 申請日: 2020-09-16
• 公開（公告）號: CN112233066B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計）人: 陳強;陳業(yè)睿;李鳴超
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V40/18;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 朱炳斐

1.一種基于梯度類激活圖的眼部球結(jié)膜圖像質(zhì)量評估方法，其特征在于，所述方法包括以下步驟：

步驟1，采集若干裂隙燈顯微鏡眼部檢查圖像，并將采集到的圖像劃分為4個數(shù)據(jù)集：訓(xùn)練集D1、驗證集D2、測試集D3以及輔助集D4；

步驟2，對D1中的圖像進行4個分類任務(wù)類別的標(biāo)注，包括曝光程度、模糊程度、球結(jié)膜面積大小、圖像質(zhì)量好壞的標(biāo)注，對數(shù)據(jù)集D2、D3中的圖像進行圖像質(zhì)量好壞的標(biāo)注，對D4中的圖像進行球結(jié)膜區(qū)域的標(biāo)注；

步驟3，求取D1、D2、D3中圖像的球結(jié)膜區(qū)域掩膜圖像；

步驟4，將步驟1中D1、D2、D3中的任意一幅圖像和對應(yīng)的步驟3獲得的掩模圖像分別輸入兩路卷積神經(jīng)網(wǎng)絡(luò)中，獲得兩組熱圖；

步驟5，將步驟4的兩組熱圖分別進行全局池化，之后通過一個隱藏層與輸出類別結(jié)點相連，并對步驟2中4個分類任務(wù)的標(biāo)簽做交叉熵計算損失；

步驟6，針對每個類別，分別在步驟4的兩組熱圖上求取梯度類激活圖，獲得兩組梯度類激活圖；

步驟7，基于步驟6的類激活圖計算一致性損失loss2；

步驟8，對步驟4中的掩膜圖像進行下采樣得到掩模特征圖；

步驟9，一一對應(yīng)求取步驟8中掩模特征圖與步驟6中梯度類激活圖的相似度，若相似度大于預(yù)設(shè)閾值th1，則將步驟7中對應(yīng)的一致性損失置0，否則執(zhí)行步驟10；

步驟10，一一對應(yīng)求取步驟6中兩組梯度類激活圖間的相似度，若相似度小于預(yù)設(shè)閾值th2，則根據(jù)步驟9中的相似度進行神經(jīng)網(wǎng)絡(luò)參數(shù)的梯度固定；

步驟11，利用訓(xùn)練集D1訓(xùn)練步驟4至步驟10構(gòu)建的神經(jīng)網(wǎng)絡(luò)，獲得預(yù)測裂隙燈眼部檢查圖像球結(jié)膜區(qū)域圖像質(zhì)量的模型，利用該模型預(yù)測待測眼部球結(jié)膜圖像的質(zhì)量。

2.根據(jù)權(quán)利要求1所述的基于梯度類激活圖的眼部球結(jié)膜圖像質(zhì)量評估方法，其特征在于，步驟3所述求取D1、D2、D3中圖像的球結(jié)膜區(qū)域掩膜圖像，具體包括：

步驟3-1，利用U-Net對D4中的圖像進行訓(xùn)練，獲得一個預(yù)測眼部球結(jié)膜區(qū)域的模型；

步驟3-2，利用所述模型對D1、D2、D3中的圖像進行球結(jié)膜區(qū)域預(yù)測，獲得每幅圖像對應(yīng)的球結(jié)膜區(qū)域的掩膜圖像。

3.根據(jù)權(quán)利要求2所述的基于梯度類激活圖的眼部球結(jié)膜圖像質(zhì)量評估方法，其特征在于，步驟4所述將步驟1中D1、D2、D3中的任意一幅圖像和對應(yīng)的步驟3獲得的掩模圖像分別輸入兩路卷積神經(jīng)網(wǎng)絡(luò)中，獲得兩組熱圖，具體包括：

步驟4-1，對步驟1中D1、D2、D3中的任意一幅圖像和對應(yīng)的步驟3獲得的掩模圖像進行統(tǒng)一縮放；

步驟4-2，將縮放后的兩幅圖像分別輸入到兩路不同初始參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)VGG16的卷積層部分中；其中VGG16的卷積層部分包括VGG16網(wǎng)絡(luò)中含有16個卷積層的前半部分，不包括全連接層部分；

步驟4-3，通過前向傳播得到兩組熱圖，其中熱圖指卷積神經(jīng)網(wǎng)絡(luò)最后一個卷積層輸出的一組特征圖。

4.根據(jù)權(quán)利要求3所述的基于梯度類激活圖的眼部球結(jié)膜圖像質(zhì)量評估方法，其特征在于，步驟5所述將步驟4的兩組熱圖分別進行全局池化，之后通過一個隱藏層與輸出類別結(jié)點相連，具體包括：

步驟5-1，將步驟4中的兩組熱圖HM1、HM2分別通過全局平均池化得到兩組1x1大小的特征圖；

步驟5-2，將兩組特征圖分別通過兩個獨立的全連接層得到兩個向量，將兩個向量逐元素相加得到新的向量v用于表征隱藏層；

步驟5-3，將步驟5-2中的隱藏層通過新的全連接層與4個分類任務(wù)的輸出類別結(jié)點相連；其中某一個輸出類別節(jié)點為分類任務(wù)的某一個類別。