[發明專利]一種計算機視覺和深度學習的眼底疾病可視化分析方法

在審

• 申請號: 202110992648.1
• 申請日: 2021-08-27
• 公開（公告）號: CN114155306A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 李煜;朱美龍;孫光民;陳佳陽;李僑宇;湯長新
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/90
• 分類號: G06T7/90;G06T7/62;G06T7/136;G06T7/11;G06T7/00;G06N3/08;G06N3/02
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種計算機視覺和深度學習的眼底疾病可視化分析方法，其特征在于：該方法包括如下步驟：

步驟1，建立眼底病灶標注圖像數據庫；

對醫學眼底疾病圖像中的病灶以類別為單位進行人工標注，然后對帶有病灶類別信息的標注結果進行組合，獲得能夠完整描述原始圖像病灶信息的眼底病灶標注圖像數據庫；

步驟2，模型關注區域可視化處理；

以眼底病灶標注圖像數據庫為輸入對眼底疾病圖像分析模型進行多層次可視化處理，設最后卷積層的輸出t維特征圖為T^t，該特征圖中每個像素對應的權重設為表示特定空間位置(i,j)處的對于最終第x類的重要性；則由此獲得的第x類對應的激活圖計算公式為：

在保留相對位置靠后的深層特征圖輸出權重的同時，還保留相對位置靠前的淺層特征圖輸出權重；利用深淺層次的類別激活映射圖更完整的顯示模型在決策過程中對眼底疾病標注圖像當中不同區域的關注程度；

步驟3，可視化區域疊加；

對可視化處理生成的多層次類別激活映射圖進行二值化處理，得到模型的主要關注區域，再將其作為掩膜與眼底病灶標注圖像進行疊加，保留圖像中具有更高關注度的病灶信息；

步驟4，區域化圖像特征篩選與統計；

為了將模型的決策依據由區域性特征關聯到病理性特征，就需要結合眼底的組織結構對不同層次區域化圖像中的病灶細節信息進行篩選，尋找其中可能與疾病的產生和發展相關的特征；分別以圖像和圖像中的具體病灶為單位對選擇的特征進行數據統計；

步驟5，統計數據關聯分析；

對統計得到的各組數據進行相關分析、均值-方差分析、聚類分析，并結合模型輸入的眼底病灶圖像以及相關醫學知識進一步找到模型做出決策所依賴的病理學特征。

2.根據權利要求1所述的一種計算機視覺和深度學習的眼底疾病可視化分析方法，其特征在于：進行模型關注區域可視化處理的步驟如下：

步驟2.1，選擇一個可用于眼底疾病圖像分析的深度學習模型對眼底疾病圖像進行訓練，得到模型的輸出權重；

步驟2.2，加載得到的模型輸出權重，利用對應的眼底病灶標注圖像對模型進行多層次可視化處理，得到不同層次的類別激活映射圖。

3.根據權利要求1所述的一種計算機視覺和深度學習的眼底疾病可視化分析方法，其特征在于：進行可視化區域疊加的步驟如下：

步驟3.1，對不同層次的彩色熱力圖按照RGB三個分量的選定加權指數進行灰度化處理，然后對得到的灰度化圖像選取統一的閾值進行二值化處理，得到不同層次下模型的主要關注區域；

步驟3.2，將包含不同層次下模型主要關注區域的二值化圖像依次與其對應的眼底病灶標注圖像進行圖像與操作，得到僅保留模型關注區域內病灶信息的區域化圖像。

4.根據權利要求1所述的一種計算機視覺和深度學習的眼底疾病可視化分析方法，其特征在于：進行區域化圖像特征篩選與統計的步驟如下：

步驟4.1，結合眼底中的主要組織結構以及病灶本身的特征，對可能與疾病的產生和發展相關的特征做出假設；例如：病灶的形態與面積，病灶與黃斑之間的距離，病灶與主干血管之間的距離等；

步驟4.2，將區域化圖像根據眼底疾病圖像分析模型的輸出結果進行分類整理，便于后續的統計分析；

步驟4.3，以各個類別中的圖像為單位，統計各個圖像中篩選特征的各項數據；

步驟4.4，以圖像中的病灶類型為單位，統計各個類別中所有圖像相同類型病灶的篩選特征的各項數據。

5.根據權利要求1所述的一種計算機視覺和深度學習的眼底疾病可視化分析方法，其特征在于：進行統計數據關聯分析的步驟如下：

步驟5.1，對選定特征的統計數據利用相關分析的方法對數據間的關系進行分析，從而衡量選定的特征之間的相關密切程度以及模型關注區域內的病灶和關注區域外的病灶數據之間的相關性和差異性；

步驟5.2，對選定特征的統計數據求取其方差與均值，從而衡量選定特征的普遍性表現和組間數據的離散程度；

步驟5.3，將選定特征的統計數據使用聚類算法分到不同的類或者簇，同一個簇中的對象有相似性，而不同簇間的對象有很大的相異性，從而衡量不同組別的數據之間的差異性。