[發(fā)明專利]基于多尺度條件生成對抗網(wǎng)絡(luò)熒光血管造影圖像生成方法

在審

• 申請?zhí)枺?/td>: 202310531954.4
• 申請日: 2023-05-12
• 公開（公告）號: CN116543026A
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 葛瑞泉;陳章昊;方昭杰;王昌淼;賈剛勇
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T7/32
• 分類號: G06T7/32;G06T3/40;G06T5/00;G06T7/10;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于多尺度條件生成對抗網(wǎng)絡(luò)熒光血管造影圖像生成方法，包括如下步驟：S1、采集同一患者的超廣角眼底彩照和與之相匹配的超廣角熒光血管造影圖像；對采集的配對圖像進行納入和排除，并作銳化、自動配準和隨機裁剪操作；S2、搭建全監(jiān)督條件生成對抗網(wǎng)絡(luò)模型；S3、模型訓(xùn)練；S4、輸入預(yù)處理后的超廣角眼底彩照至完成訓(xùn)練的全監(jiān)督條件生成對抗網(wǎng)絡(luò)模型中，最終生成與真實圖像分布極為相似的超廣角熒光血管造影圖像。該方法基于輸入的超廣角眼底彩照，自動生成高分辨率、高清晰度以及清晰顯示微小血管病變區(qū)域的超廣角熒光血管造影圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及跨模態(tài)圖像轉(zhuǎn)換技術(shù)領(lǐng)域，具體指一種基于多尺度條件生成對抗網(wǎng)絡(luò)熒光血管造影圖像生成方法。

背景技術(shù)

熒光血管造影是一種用于檢測和診斷眼底疾病的常用成像方法。它被廣泛應(yīng)用于血管結(jié)構(gòu)成像和動態(tài)觀察造影劑在血管中的循環(huán)和滲漏。但是熒光素血管造影需要將熒光染料注射到患者的前靜脈，然后通過血液循環(huán)到達眼底血管。部分患者在檢查期間或檢查后可能會出現(xiàn)嘔吐、惡心等不良反應(yīng)。此外，這種侵入性檢查也不適合嚴重心血管及其他全身性疾病患者。

眼底彩色照相是視網(wǎng)膜檢查最為常用的方法，其利用共焦激光掃描檢眼鏡，具有無創(chuàng)、方便、快捷、無不良反應(yīng)、對病人全身情況要求低等優(yōu)勢，但很多動態(tài)的眼底結(jié)構(gòu)性病變比如新生血管的出現(xiàn)、黃斑水腫的生成以及微血管的無灌注區(qū)不能夠在眼底彩照上呈現(xiàn)，從而影響眼底疾病診斷和預(yù)測的準確性。

近年來，超廣角技術(shù)的出現(xiàn)極大程度地提高了圖像視野的寬度與深度，超廣角熒光素血管造影圖像和超廣角眼底彩照也被逐漸運用到眼底影像領(lǐng)域。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的不足，提出一種基于多尺度條件生成對抗網(wǎng)絡(luò)熒光血管造影圖像生成方法，該方法基于輸入的超廣角眼底彩照，自動生成高分辨率、高清晰度以及清晰顯示微小血管病變區(qū)域的超廣角熒光血管造影圖像。

為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案為：

一種基于多尺度條件生成對抗網(wǎng)絡(luò)熒光血管造影圖像生成方法，包括如下步驟：

S1、采集圖像數(shù)據(jù)并預(yù)處理

S1-1、采集同一患者的超廣角眼底彩照和與之相匹配的超廣角熒光血管造影圖像；

S1-2、對采集的配對圖像進行納入和排除，并作銳化、自動配準和隨機裁剪操作；

S2、搭建全監(jiān)督條件生成對抗網(wǎng)絡(luò)模型，所述全監(jiān)督條件生成對抗網(wǎng)絡(luò)模型包括兩個并行的生成對抗網(wǎng)絡(luò)，分別為生成對抗網(wǎng)絡(luò)一和生成對抗網(wǎng)絡(luò)二，所述生成對抗網(wǎng)絡(luò)一由精細生成器、精細判別器和注意力拼接模塊融合而成，所述生成對抗網(wǎng)絡(luò)二由粗糙生成器、粗糙判別器和注意力拼接模塊融合而成。其中精細生成器主要用于捕捉圖像的局部特征而粗糙生成器主要用于捕捉圖像的局部特征，精細判斷器用于對精細生成器生成的圖像與真實圖像進行判別而粗糙判別器用于對粗糙生成器生成的圖像和真實圖像進行判別。從直觀上來說，精細生成器傳入和處理的圖片的像素量更多，運算量更大，粗糙生成器反之。

S3、模型訓(xùn)練

S3-1、將步驟S1中預(yù)處理后的圖像的分辨率變?yōu)樵瓉淼?/3，從而得到已配對且分辨率較低的超廣角眼底彩照和超廣角熒光血管造影圖像；

S3-2、將已配對且分辨率較低的超廣角眼底彩照和超廣角熒光血管造影圖像輸粗糙生成器和粗糙判別器中得到粗粒度圖像；

S3-3、將步驟S1中隨機裁剪后的圖像輸入精細生成器和精細判別器中得到真實值圖像；

S3-4、以輸入的超廣角熒光血管造影圖像為判別標準，對全監(jiān)督條件生成對抗網(wǎng)絡(luò)模型進行反復(fù)訓(xùn)練，優(yōu)化網(wǎng)絡(luò)參數(shù)，運用動態(tài)博弈的手段不斷進行迭代優(yōu)化直至兩者達到平衡，以最小化真實值圖像的以及粗粒度圖像間的差異；