[發明專利]基于梯度類激活圖的眼部球結膜圖像質量評估方法

有效

• 申請號: 202010972984.5
• 申請日: 2020-09-16
• 公開（公告）號: CN112233066B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 陳強;陳業睿;李鳴超
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V40/18;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱炳斐

本發明公開了一種基于梯度類激活圖的眼部球結膜圖像質量評估方法，包括：構建雙路輸入、多個分類任務聯合學習的神經網絡，分割眼部球結膜區域，將原始圖像和球結膜掩模圖像分別作為神經網絡兩路輸入，并用4個分類任務作為神經網絡監督。分別計算兩路熱圖上的梯度類激活圖，計算掩模特征圖分別與類激活圖的相似度，根據相似度對類激活圖加以一致性約束，使神經網絡關注球結膜區域。本發明首次提出該方法，將檢查圖像和掩模圖像同時作為神經網絡的輸入，采用多任務的方式監督神經網絡，直接將CAM圖加入神經網絡損失，顯式地與神經網絡交互，使得神經網絡完全關注到球結膜區域，最終在球結膜圖像質量評估中取得很好的結果。

技術領域

本發明屬于圖像質量評估領域，特別涉及一種基于梯度類激活圖的眼部球結膜圖像質量評估方法。

背景技術

裂隙燈顯微鏡是眼科最常用的儀器和設備之一，在眼科疾病的檢查、診斷、治療和隨訪過程中具有不可替代的重要作用。眼前部組織和結構是裂隙燈顯微鏡主要的成像區域，而球結膜作為判斷眼前部疾病的重要參考區域，其成像質量好壞直接影響醫生和自動算法對結膜充血等級和結膜疾病的判斷，故將質量不好的圖像實時反饋給成像設備操作者，可以優化整體的成像-診斷流程。

現有的技術主要對裂隙燈顯微鏡檢查圖像中虹膜區域進行圖像質量評估，但由于拍攝焦點、角度、光線變化等因素，同一張圖片中球結膜區域和虹膜區域往往呈現不同的圖像質量。另一方面，現有的類激活圖技術常用來解釋(可視化)神經網絡關注的區域；另有少量文獻將類激活圖加入到神經網絡訓練中，其中有的算法無法做到端到端訓練，有的算法雖然可以端到端訓練，但它們將CAM圖作為另外一路的神經網絡的輸入，這種交互是隱式的，容易導致神經網絡在通過數層卷積模塊后無法再關注CAM圖中希望神經網絡關注的區域。

發明內容

本發明的目的在于針對上述現有技術存在的問題，提供一種基于梯度類激活圖的眼部球結膜圖像質量評估方法。

實現本發明目的的技術解決方案為：一種基于梯度類激活圖的眼部球結膜圖像質量評估方法，所述方法包括以下步驟：

步驟1，采集若干裂隙燈顯微鏡眼部檢查圖像，并將采集到的圖像劃分為4個數據集：訓練集D1、驗證集D2、測試集D3以及輔助集D4；

步驟2，對D1中的圖像進行4個分類任務類別的標注，包括曝光程度、模糊程度、球結膜面積大小、圖像質量好壞的標注，對數據集D2、D3中的圖像進行圖像質量好壞的標注，對D4中的圖像進行球結膜區域的標注；

步驟3，求取D1、D2、D3中圖像的球結膜區域掩膜圖像；

步驟4，將步驟1中D1、D2、D3中的任意一幅圖像和對應的步驟3獲得的掩模圖像分別輸入兩路卷積神經網絡中，獲得兩組熱圖；

步驟5，將步驟4的兩組熱圖分別進行全局池化，之后通過一個隱藏層與輸出類別結點相連，并對步驟2中4個分類任務的標簽做交叉熵計算損失；

步驟6，針對每個類別，分別在步驟4的兩組熱圖上求取梯度類激活圖，獲得兩組梯度類激活圖；

步驟7，基于步驟6的類激活圖計算一致性損失loss2；

步驟8，對步驟4中的掩膜圖像進行下采樣得到掩模特征圖；

步驟9，一一對應求取步驟8中掩模特征圖與步驟6中梯度類激活圖的相似度，若相似度大于預設閾值th1，則將步驟7中對應的一致性損失置0，否則執行步驟10；

步驟10，一一對應求取步驟6中兩組梯度類激活圖間的相似度，若相似度小于預設閾值th2，則根據步驟9中的相似度進行神經網絡參數的梯度固定；

步驟11，利用訓練集D1訓練步驟4至步驟10構建的神經網絡，獲得預測裂隙燈眼部檢查圖像球結膜區域圖像質量的模型，利用該模型預測待測眼部球結膜圖像的質量。