[發明專利]基于深度學習的眼底熒光造影圖像生成方法

在審

• 申請號: 202110286169.8
• 申請日: 2021-03-17
• 公開（公告）號: CN112950737A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 史國華;李婉越;何益;孔文;王晶;陳一巍;包明帝
• 申請（專利權）人: 中國科學院蘇州生物醫學工程技術研究所
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T7/00;G06T7/33;G06T5/20;G16H15/00;G06N3/04;G06N3/08
• 代理公司: 北京遠大卓悅知識產權代理有限公司 11369
• 代理人: 張川

1.一種基于深度學習的眼底熒光造影圖像生成方法，其特征在于，包括以下步驟：

S1、從采集的眼底熒光造影圖像報告中，篩選出四種眼底熒光造影報告，包括：正常的眼底熒光造影報告以及含有視盤滲漏、含有塊狀滲漏和含有點狀滲漏的眼底熒光造影報告；

S2、在所述步驟S1所篩選出來的眼底熒光造影圖像報告中，分別選擇四種眼底熒光造影報告的眼底結構圖像及對應的造影后期的眼底熒光造影圖像，構建為訓練數據集；

S3、對訓練數據集進行預處理；

S4、將預處理后的訓練數據集中的眼底結構圖像作為輸入圖像、眼底熒光造影圖像作為要學習的目標圖像，一起輸入到預先設計的圖像處理網絡中進行訓練，得到訓練好的圖像處理網絡模型；

S5、將待處理的眼底結構圖像輸入到訓練好的圖像處理網絡模型中，自動生成對應的眼底熒光造影圖像；

其中，所述圖像處理網絡包括基于若干層殘差塊的生成網絡、基于馬爾科夫判別器的判別網絡以及損失函數L，所述生成網絡用于根據輸入的眼底結構圖像生成對應的眼底熒光造影圖像，所述判別網絡用于對所述生成網絡生成的眼底熒光造影圖像和輸入的真實眼底熒光造影圖像進行區分，所述損失函數L包括對抗損失函數L_GAN、像素空間損失函數L_pixel、特征空間損失函數L_perceptual和局部顯著圖損失函數L_sal，所述損失函數用于保證所述圖像處理網絡的穩定訓練以及生成與真實眼底熒光造影圖像盡可能相同的圖像。

2.根據權利要求1所述的基于深度學習的眼底熒光造影圖像生成方法，其特征在于，所述生成網絡包括9層殘差塊，其中每個殘差塊包含兩個卷積核大小為3x3的卷積層，每一個卷積層后面均具有一個線性整流激活函數ReLU。

3.根據權利要求2所述的基于深度學習的眼底熒光造影圖像生成方法，其特征在于，所述判別網絡包括4個卷積層和一個全連接層，其中，每個卷積層的卷積核大小均為4x4，且每個卷積層的后面均具有一個改進的線性整流激活函數Leaky ReLu，全連接層的后面具有一個sigmoid激活函數。

4.根據權利要求3所述的基于深度學習的眼底熒光造影圖像生成方法，其特征在于，所述圖像處理網絡的損失函數L由下式表示：

L＝L_GAN+αL_pixel+βL_perceptual+γL_sal，

其中，α，β，γ分別為像素空間的損失函數、特征空間的損失函數以及局部顯著圖損失函數各自對應的權重；

所述對抗損失函數L_GAN的表達式為：

其中，表示眼底結構圖像I_s生成的眼底熒光造影圖像，表示判別器對生成的眼底熒光造影圖像的判別結果，N表示圖像的數量；

所述像素空間損失函數L_pixel的表達式為：

其中，I_F表示輸入的真實眼底熒光造影圖像，W、H分別為圖像的尺寸，x,y為像素的位置；

所述特征空間損失函數L_perceptual的表達式為：

其中，是第i個池化層之前的第j個卷積層所獲得的特征圖，W_i,j和H_i,j是的維度；

所述局部顯著圖損失函數L_sal的表達式為：

其中，和分別表示真實眼底熒光造影圖像I_F和生成的眼底造影圖像的局部顯著圖。