[發明專利]基于深度學習的眼底熒光造影圖像生成方法

在審

• 申請號: 202110286169.8
• 申請日: 2021-03-17
• 公開（公告）號: CN112950737A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 史國華;李婉越;何益;孔文;王晶;陳一巍;包明帝
• 申請（專利權）人: 中國科學院蘇州生物醫學工程技術研究所
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T7/00;G06T7/33;G06T5/20;G16H15/00;G06N3/04;G06N3/08
• 代理公司: 北京遠大卓悅知識產權代理有限公司 11369
• 代理人: 張川

本發明公開了一種基于深度學習的眼底熒光造影圖像生成方法，包括以下步驟：S1、采集眼底熒光造影圖像；S2、構建訓練數據集；S3、對訓練數據集進行預處；S4、構建并訓練用于生成眼底熒光造影圖像的圖像處理網絡模型；S5、將待處理的眼底結構圖像輸入到訓練好的圖像處理網絡模型中，自動生成對應的眼底熒光造影圖像。本發明通過深度學習的方法實現了通過眼底結構圖像生成眼底熒光造影圖像的目的，相比現有的眼底熒光造影圖像生成方法，本發明的方法能夠在眼底血管結構精確生成的同時，還能對眼底熒光滲漏點的生成具有較好的效果；本發明的眼底醫學圖像處理方法對眼底相關疾病的預防、診斷和指導檢查具有潛在的醫學價值。

技術領域

本發明涉及醫學圖像處理領域，特別涉及一種基于深度學習的眼底熒光造影圖像生成方法。

背景技術

眼底血管造影是眼科臨床診斷中常用的檢查技術，該成像技術能夠在活體人眼中反映出視網膜屏障的受損狀態，動態捕捉視網膜大血管至毛細血管的生理、病理情況，被譽為眼底疾病診斷的“金標準”。然而，由于在造影成像的過程中需要靜脈注射造影劑，所以該技術會禁用于嚴重高血壓、心臟病等患者，而且還可能會引起一些副反應。因此，使用圖像生成的方法準確地生成眼底結構圖像對應的眼底熒光造影圖像，對眼底相關疾病的預防、輔助診斷和指導檢查具有重要意義。

現存眼底熒光造影圖像生成的相關方法根據對數據集中圖像對的要求可分為兩類，即成對圖像生成方法和不成對圖像生成方法。不成對方法雖能消除圖像不成對的問題，卻無法精確生成造影圖像中血管結構及滲漏點信息；現存成對眼底熒光造影圖像生成方法相較于不成對的方法在血管結構的生成上具有更好的效果，但仍無法準確地生成滲漏點的信息。

發明內容

本發明的目的旨在解決上述現有方法存在的無法準確生成眼底熒光造影圖像中滲漏點的問題。為解決此問題并使得提出的方法更加具有醫學應用價值，本發明提出了一種基于條件生成網絡和局部顯著損失的眼底熒光造影圖像生成方法，該方法屬于成對的方法，其可應用于正常的熒光造影圖像以及常見滲漏類型(視盤滲漏、塊狀滲漏、點狀滲漏)的熒光造影圖像的生成中。

為實現上述目的，本發明采用的技術方案是：一種基于深度學習的眼底熒光造影圖像生成方法，包括以下步驟：

S1、從采集的眼底熒光造影圖像報告中，篩選出四種眼底熒光造影報告，包括：正常的眼底熒光造影報告以及含有視盤滲漏、含有塊狀滲漏和含有點狀滲漏的眼底熒光造影報告；

S2、在所述步驟S1所篩選出來的眼底熒光造影圖像報告中，分別選擇四種眼底熒光造影報告的眼底結構圖像及對應的造影后期的眼底熒光造影圖像，構建為訓練數據集；

S3、對訓練數據集進行預處理；

S4、將預處理后的訓練數據集中的眼底結構圖像作為輸入圖像、眼底熒光造影圖像作為要學習的目標圖像，一起輸入到預先設計的圖像處理網絡中進行訓練，得到訓練好的圖像處理網絡模型；

S5、將待處理的眼底結構圖像輸入到訓練好的圖像處理網絡模型中，自動生成對應的眼底熒光造影圖像；

其中，所述圖像處理網絡包括基于若干層殘差塊的生成網絡、基于馬爾科夫判別器的判別網絡以及損失函數L，所述生成網絡用于根據輸入的眼底結構圖像生成對應的眼底熒光造影圖像，所述判別網絡用于對所述生成網絡生成的眼底熒光造影圖像和輸入的真實眼底熒光造影圖像進行區分，所述損失函數L包括對抗損失函數L_GAN、像素空間損失函數L_pixel、特征空間損失函數L_perceptual和局部顯著圖損失函數L_sal，所述損失函數用于保證所述圖像處理網絡的穩定訓練以及生成與真實眼底熒光造影圖像盡可能相同的圖像。

優選的是，所述生成網絡包括9層殘差塊，其中每個殘差塊包含兩個卷積核大小為3x3的卷積層，每一個卷積層后面均具有一個線性整流激活函數ReLU。