[發(fā)明專利]一種眼底視網(wǎng)膜OCTA圖像融合方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210072782.4
• 申請日: 2022-01-21
• 公開（公告）號(hào): CN114418915A
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 張泓凱
• 申請（專利權(quán)）人: 佛山科學(xué)技術(shù)學(xué)院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06N3/04;G06N3/08
• 代理公司: 深圳市創(chuàng)富知識(shí)產(chǎn)權(quán)代理有限公司 44367
• 代理人: 高冰

1.一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，包括以下步驟：

步驟1，采集眼底視網(wǎng)膜OCTA圖像數(shù)據(jù)，對同一只眼睛同一區(qū)域采集10組數(shù)據(jù)，然后對圖像進(jìn)行預(yù)處理，包括：圖像直方圖匹配、運(yùn)動(dòng)偽影的檢測以及樣條分離、樣條圖像配準(zhǔn)、樣條圖像拼接融合；利用預(yù)處理后的圖像數(shù)據(jù)，構(gòu)建深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集；

步驟2，搭建深度卷積神經(jīng)網(wǎng)絡(luò)模型，對深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

步驟3，構(gòu)建混合損失函數(shù)，通過所述混合損失函數(shù)對OCTA圖像的小血管進(jìn)行提取，利用混合損失函數(shù)計(jì)算小血管圖像的多尺度結(jié)構(gòu)相似性和平均絕對誤差L1來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，獲得網(wǎng)絡(luò)模型參數(shù)；

步驟4，利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)模型對測試集圖像進(jìn)行預(yù)測，網(wǎng)絡(luò)輸出即為融合后的高質(zhì)量圖像。

2.如權(quán)利要求1所述的一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，所述步驟1中運(yùn)動(dòng)偽影的檢測以及樣條分離的具體步驟如下：首先計(jì)算圖像中每一列的像素的平均值以及全圖所有像素的平均值，其中均值大于1.5倍得到全圖像素平均值的列被認(rèn)為是運(yùn)動(dòng)偽影，根據(jù)檢測出的運(yùn)動(dòng)偽影的位置，將對應(yīng)得到圖像分成多個(gè)沒有運(yùn)動(dòng)偽影的樣條圖像。

3.如權(quán)利要求1所述的一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，所述步驟1中樣條圖像配準(zhǔn)的具體步驟如下：獲得10張圖像的樣條圖像后，通過基于相位相關(guān)的配準(zhǔn)算法對大血管進(jìn)行粗配準(zhǔn)，再通過基于非剛性配準(zhǔn)算法對小血管進(jìn)行細(xì)配準(zhǔn)。

4.如權(quán)利要求1所述的一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，所述步驟1中樣條圖像拼接融合的具體步驟如下：將配準(zhǔn)后的樣條圖像按照重疊區(qū)域大小來進(jìn)行融合，采用的融合算法是小波融合算法。

5.如權(quán)利要求1所述的一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，所述步驟1中構(gòu)建深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集的具體步驟如下：將預(yù)處理后多張融合的圖像作為訓(xùn)練的標(biāo)簽圖像，該數(shù)據(jù)集中包含成對的單張圖像和標(biāo)簽圖像。

6.如權(quán)利要求1所述的一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，所述步驟2中，搭建深度卷積神經(jīng)網(wǎng)絡(luò)模型具體為：以步驟1生成的訓(xùn)練數(shù)據(jù)集中的成對的單張圖像和標(biāo)簽圖像作為輸入，構(gòu)建一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)模型，該深度卷積神經(jīng)網(wǎng)絡(luò)采用17層的網(wǎng)絡(luò)結(jié)構(gòu)，分為三個(gè)部分：第一部分是由一個(gè)卷積層和激活函數(shù)組成，第二部分是由卷積層、批量歸一化和激活函數(shù)組成，第三部分是一個(gè)卷積層。

7.如權(quán)利要求1所述的一種眼底視網(wǎng)膜OCTA圖像融合方法，其特征在于，所述步驟3中構(gòu)建混合損失函數(shù)，具體包括：

構(gòu)建多尺度結(jié)構(gòu)相似性MS-SSIM為：

其中是區(qū)域中間像素值；

構(gòu)建L₁損失函數(shù)為：

其中p是像素值，x(p)是預(yù)測圖像的像素值，y(p)是標(biāo)簽圖像的像素值；

構(gòu)建優(yōu)化目標(biāo)函數(shù)，該優(yōu)化目標(biāo)函數(shù)為混合損失函數(shù)：

其中α是權(quán)重系數(shù)，是計(jì)算MS-SSIM中的第M個(gè)尺度的高斯核；

利用反向傳播算法，求解目標(biāo)函數(shù)關(guān)于系數(shù)的偏導(dǎo)數(shù)，同時(shí)對深度卷積神經(jīng)網(wǎng)絡(luò)各層參數(shù)利用隨機(jī)梯度下降進(jìn)行參數(shù)更新學(xué)習(xí)。

8.一種眼底視網(wǎng)膜OCTA圖像融合系統(tǒng)，其特征在于，包括：

圖像采集和預(yù)處理模塊，用于采集眼底視網(wǎng)膜OCTA圖像數(shù)據(jù)，對同一只眼睛同一區(qū)域采集10組數(shù)據(jù)，然后對圖像進(jìn)行預(yù)處理；

深度卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建模塊，用于搭建深度卷積神經(jīng)網(wǎng)絡(luò)模型，對深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

混合損失函數(shù)構(gòu)建模塊，用于構(gòu)建混合損失函數(shù)，通過所述混合損失函數(shù)對OCTA圖像的小血管進(jìn)行提取，利用混合損失函數(shù)計(jì)算小血管圖像的多尺度結(jié)構(gòu)相似性和平均絕對誤差L1來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，獲得網(wǎng)絡(luò)模型參數(shù)；

圖像融合模塊，用于利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)模型對測試集圖像進(jìn)行預(yù)測，網(wǎng)絡(luò)輸出即為融合后的高質(zhì)量圖像。