[發明專利]基于多尺度條件生成對抗網絡熒光血管造影圖像生成方法

在審

• 申請號: 202310531954.4
• 申請日: 2023-05-12
• 公開（公告）號: CN116543026A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 葛瑞泉;陳章昊;方昭杰;王昌淼;賈剛勇
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/32
• 分類號: G06T7/32;G06T3/40;G06T5/00;G06T7/10;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多尺度條件生成對抗網絡熒光血管造影圖像生成方法，其特征在于，包括如下步驟：

S1、采集圖像數據并預處理

S1-1、采集同一患者的超廣角眼底彩照和與之相匹配的超廣角熒光血管造影圖像；

S1-2、對采集的配對圖像進行納入和排除，并作銳化、自動配準和隨機裁剪操作；

S2、搭建全監督條件生成對抗網絡模型，所述全監督條件生成對抗網絡模型包括兩個并行的生成對抗網絡，分別為生成對抗網絡一和生成對抗網絡二，所述生成對抗網絡一由精細生成器、精細判別器和注意力拼接模塊融合而成，所述生成對抗網絡二由粗糙生成器、粗糙判別器和注意力拼接模塊融合而成，其中精細生成器主要用于捕捉圖像的局部特征，所述粗糙生成器主要用于捕捉圖像的局部特征；所述精細判斷器用于對精細生成器生成的圖像與真實圖像進行判別，所述粗糙判別器用于對粗糙生成器生成的圖像和真實圖像進行判別；

S3、模型訓練

S3-1、將步驟S1中預處理后的圖像的分辨率變為原來的1/3，從而得到已配對且分辨率較低的超廣角眼底彩照和超廣角熒光血管造影圖像；

S3-2、將已配對且分辨率較低的超廣角眼底彩照和超廣角熒光血管造影圖像輸粗糙生成器和粗糙判別器中得到粗粒度圖像；

S3-3、將步驟S1中隨機裁剪后的圖像輸入精細生成器和精細判別器中得到真實值圖像；

S3-4、以輸入的超廣角熒光血管造影圖像為判別標準，對全監督條件生成對抗網絡模型進行反復訓練，優化網絡參數，運用動態博弈的手段不斷進行迭代優化直至兩者達到平衡，以最小化真實值圖像的以及粗粒度圖像間的差異；

S4、輸入預處理后的超廣角眼底彩照至完成訓練的全監督條件生成對抗網絡模型中，最終生成與真實圖像分布極為相似的超廣角熒光血管造影圖像。

2.根據權利要求1所述的基于多尺度條件生成對抗網絡熒光血管造影圖像生成方法，其特征在于，所述步驟S1-1的具體方法如下：

S1-1-1、超廣角眼底彩照和超廣角熒光造影圖像拍攝間隔拍攝時間間隔3月以及有明顯新鮮出血；

S1-1-2、兩項圖像拍攝間隔行視網膜激光光凝術；

S1-1-3、曬出中度及以上白內障，玻璃體中度以上渾濁圖像；

S1-1-4、篩除睫毛遮擋超過四分之一，鏡頭對焦不準的圖像；

S1-1-5、根據歷史經驗篩除其他可能干擾試驗結果的圖像。

3.根據權利要求1所述的基于多尺度條件生成對抗網絡熒光血管造影圖像生成方法，其特征在于，所述步驟S1-2中，將自動配準后的圖像統一調整為3432×3702。

4.根據權利要求3所述的基于多尺度條件生成對抗網絡熒光血管造影圖像生成方法，其特征在于，所述步驟S1-2中，將統一調整尺寸的圖像隨機裁剪成大小為608×768的不同小塊。

5.根據權利要求1-4任意一項所述的基于多尺度條件生成對抗網絡熒光血管造影圖像生成方法，其特征在于，所述全監督條件生成對抗網絡模型的損失函數定義如下：

其中

L_cGAN＝E_(c,x)[log(D(c,x))]+E_c[log(1-D(G(c),c)]???????(2)

公式(1)中的G_C和G_F分別表示粗糙生成器和精細生成器而D_C1和D_C2表示粗糙判別器，D_F表示精細判別器，λ_FMC,λ_VGGC,λ_FMF,λ_VGGF均表示可調節的權重參數，公式(2)中的變量對(c,x)的c表示作為條件的原始圖像分布，而x表示真實的超廣角熒光造影血管圖像的分布，公式(3)中的D⁽ⁱ⁾表示提取特征的第i層網絡，T為網絡的總層數，N_i表示每一層的元素個數，公式(4)中的N為網絡總層數，M_i為每一層的元素個數，V_i為VGG19網絡架構的第i層。