[發明專利]基于深度神經網絡可視化的眼底圖像生成方法及系統

在審

• 申請號: 202010778991.1
• 申請日: 2020-08-05
• 公開（公告）號: CN112085057A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 徐邁;王曉飛
• 申請（專利權）人: 深圳市新產業眼科新技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T5/50
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

本公開涉及圖像處理技術領域，具體涉及一種基于深度神經網絡可視化的眼底圖像生成方法及系統，其中所述方法包括：病理感知網絡可視化模型獲取眼底圖像分類網絡模型中各卷積層提取的多個特征圖構成第一特征圖集合；基于第一預設參數對所述第一特征圖集合進行篩選得到第二特征圖集合；基于第二預設參數對所述第二特征圖集合進行篩選分類得到第三特征圖集合；基于所述第三特征圖集合中的特征圖融合生成所述眼底圖像的預設病理區域對應的可視化圖。本公開實施方案可以提高生成的眼底圖像在病理區域的圖像質量，提高輔助診斷的準確性。

技術領域

本公開實施例涉及圖像處理技術領域，尤其涉及一種基于深度神經網絡可視化的眼底圖像生成方法、基于深度神經網絡可視化的眼底圖像生成系統，生成式對抗網絡訓練方法、生成式對抗網絡訓練系統，眼底圖像生成方法、眼底圖像生成系統，以及實現基于深度神經網絡可視化的眼底圖像生成方法、生成式對抗網絡訓練方法或者眼底圖像生成方法的計算機可讀存儲介質和電子設備。

背景技術

隨著人工智能識別的發展，各領域普遍采用各種神經網絡模型進行識別以不斷提高識別精度和識別范圍。例如在數據驅動型的醫學圖像識別處理領域，數據占有十分重要的地位，一方面，大量來源廣泛的圖像數據可以增強神經網絡模型的泛化能力，另一方面，詳細標注和高病理清晰度的圖像數據會大大降低識別任務的難度，也可以增益神經網絡模型的性能。

然而，醫學圖像數據目前仍面臨著許多的問題，例如數據量過少、數據質量不佳以及缺乏醫生標注等方面。目前，有很多研究人員致力于解決這些問題，例如通過大量的復制當前的醫學圖像數據庫來擴充圖像數據，或者通過改進神經網絡模型，引入弱監督機制來減少對圖像數據的依賴等。這其中較為普遍的是生成虛擬的醫學圖像來緩解圖像數據少的問題，即通過一系列圖像生成的手段，可以生成大量的合成圖像，用來增益各種醫學任務的性能。例如在眼底圖像處理領域，可以通過生成式對抗網絡來合成虛擬的眼底圖像，進行圖像數據集的擴充，進而利于下游識別處理任務如輔助診斷等。這些眼底圖像生成方式都是根據眼底的血管圖像，生成對應的眼底圖像。

但是，這些生成方式都忽略了一個問題，即沒有考慮醫學圖像的特殊性，因為醫學圖像里的不同區域的對于診斷的重要性程度是不一樣的，特定的病理區域(例如青光眼的盤沿和視網膜神經纖維層區域)對于診斷尤為重要，而其他的區域對于診斷沒有那么大的重要性。基于這些因素，在生成虛擬的眼底圖像擴充圖像數據集的時候，尤其要考慮病理區域的生成質量。然而，當前生成虛擬的眼底圖像時并沒有成熟的針對特定病理區域的圖像質量強化的方法。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開實施例提供了一種基于深度神經網絡可視化的眼底圖像生成方法、基于深度神經網絡可視化的眼底圖像生成系統，生成式對抗網絡訓練方法、生成式對抗網絡訓練系統，眼底圖像生成方法、眼底圖像生成系統，以及實現基于深度神經網絡可視化的眼底圖像生成方法、生成式對抗網絡訓練方法或者眼底圖像生成方法的計算機可讀存儲介質和電子設備。

第一方面，本公開實施例提供了一種基于深度神經網絡可視化的眼底圖像生成方法，包括：

病理感知網絡可視化模型獲取眼底圖像分類網絡模型中各卷積層提取的多個特征圖構成第一特征圖集合；所述第一特征圖集合中的特征圖是基于輸入至所述眼底圖像分類網絡模型的眼底圖像得到；

所述病理感知網絡可視化模型基于第一預設參數對所述第一特征圖集合進行篩選得到第二特征圖集合；所述第一預設參數是第一特征圖集合中的特征圖的激活值；

所述病理感知網絡可視化模型基于第二預設參數對所述第二特征圖集合進行篩選分類得到第三特征圖集合；所述第二預設參數與所述眼底圖像的預設病理區域像素分布相關；

所述病理感知網絡可視化模型基于所述第三特征圖集合中的特征圖融合生成所述眼底圖像的預設病理區域對應的可視化圖。