[發(fā)明專利]一種計算機視覺和深度學習的眼底疾病可視化分析方法

在審

• 申請?zhí)枺?/td>: 202110992648.1
• 申請日: 2021-08-27
• 公開（公告）號: CN114155306A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設計）人: 李煜;朱美龍;孫光民;陳佳陽;李僑宇;湯長新
• 申請（專利權）人: 北京工業(yè)大學
• 主分類號: G06T7/90
• 分類號: G06T7/90;G06T7/62;G06T7/136;G06T7/11;G06T7/00;G06N3/08;G06N3/02
• 代理公司: 北京思海天達知識產(chǎn)權代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開了一種基于計算機視覺和深度學習的眼底疾病可視化分析方法，包括：對現(xiàn)有眼底疾病模型的結果進行可視化處理，標記支持模型做出最終決策的重點區(qū)域；將可視化算法生成的類別激活圖與原始眼底圖像進行疊加，以對模型關注區(qū)域內(nèi)的圖像信息進行篩選；根據(jù)篩選結果進一步對眼底圖像當中的特征利用統(tǒng)計學算法進行分析，將病灶特征與模型得到的眼底疾病分析結果相關聯(lián)。與現(xiàn)有方法相比，本發(fā)明所設計的眼底疾病可視化方法兼顧網(wǎng)絡的深層與淺層輸出，從而能夠更加全面地分析模型的決策過程，同時本發(fā)明也為眼底病變的機理研究提供了新的分析方法。

技術領域

本發(fā)明屬于深度學習模型可視化技術，尤其涉及一種基于計算機視覺和深度學習的眼底疾病可視化分析方法。利用類別激活圖映射的方法結合統(tǒng)計學算法對模型的決策過程進行解釋和分析。

背景技術

臨床研究表明，眼底的特異性改變會對人們的生活造成不可避免的影響，嚴重的視網(wǎng)膜病變甚至會導致失明，因此定期對眼底病變情況進行檢測和診斷對于患者的及時發(fā)現(xiàn)和治療有著重要意義。隨著時代的發(fā)展，計算機視覺及深度學習技術的出現(xiàn)為眼底疾病的診斷和治療提供了新的技術支持。

但由于深度學習模型的決策依據(jù)缺乏可解釋性，因此為了更好的對結果進分析，需要對模型進行可視化處理。對于模型的可視化算法可以總結為過程可視化和結果可視化兩大類。過程可視化是對學習過程中所提取的每張?zhí)卣鲌D進行可視化顯示，用以評估模型的特征提取能力。結果可視化是在模型輸出結果前對模型進行可視化處理，提取出模型做出決策的類別激活映射圖或概率分布圖等，用以分析模型的決策過程。因此模型的可視化為深度模型的可解釋性提供了重要支持。

模型的可視化中最為經(jīng)典的可視化方案是基于CAM(Class Activation Mapping)的可視化方法。它提出對一個深層的卷積神經(jīng)網(wǎng)絡而言，通過多次卷積和池化以后，它的最后一層卷積層包含了最豐富的空間和語義信息。所以說，要讓卷積神經(jīng)網(wǎng)絡對其分類結果給出一個合理解釋，必須要充分利用好最后一個卷積層。

然而，單純的可視化處理只能夠從類別激活圖大致的找到模型對于圖像當中的某些區(qū)域的關注程度，如果需要進一步獲取圖像當中的關鍵性信息或是對于其中的規(guī)律進行歸納總結就需要用到數(shù)學的方法。對于不同領域的圖像而言，需要找到圖像當中最為重要的特征進行統(tǒng)計分析，利用數(shù)據(jù)之間的關系來推導出存在于圖像中的一般性規(guī)律。

發(fā)明內(nèi)容

本發(fā)明采用的技術方案為一種計算機視覺和深度學習的眼底疾病可視化分析方法，該方法與現(xiàn)有的可視化算法相比考慮了更多層次的圖像語義信息，同時可將可視化結果與輸入圖像進行協(xié)同分析，利用統(tǒng)計學的方法對關鍵特征進行統(tǒng)計和歸納，找到模型做出決策所依賴的病理學特征。該方法包括如下步驟：

步驟1，建立眼底病灶標注圖像數(shù)據(jù)庫。

對醫(yī)學眼底疾病圖像中的病灶以類別為單位進行人工標注，然后對帶有病灶類別信息的標注結果進行組合，獲得能夠完整描述原始圖像病灶信息的眼底病灶標注圖像數(shù)據(jù)庫。

步驟2，模型關注區(qū)域可視化處理。

以眼底病灶標注圖像數(shù)據(jù)庫為輸入對眼底疾病圖像分析模型進行多層次可視化處理，類別激活圖的生成是基于CAM的思想，通過不同通道不同位置的特征值的線性組合得到的，改進之處在于：不僅不同特征圖的權重不同，同一特征圖內(nèi)不同位置特征值的權重也不同。具體來說，設最后卷積層的輸出t維特征圖為T^t，該特征圖中每個像素對應的權重設為表示特定空間位置 (i,j)處的對于最終第x類的重要性。則由此獲得的第x類對應的激活圖計算公式為：

與此同時，在保留相對位置靠后的深層特征圖輸出權重的同時，還保留相對位置靠前的淺層特征圖輸出權重。這樣就可以利用深淺層次的類別激活映射圖更完整的顯示模型在決策過程中對眼底疾病標注圖像當中不同區(qū)域的關注程度。

進行模型關注區(qū)域可視化處理的步驟如下：