[發(fā)明專利]一種基于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)的醫(yī)學(xué)圖像超分辨率方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911259611.7
• 申請(qǐng)日: 2019-12-10
• 公開(kāi)（公告）號(hào): CN111178499B
• 公開(kāi)（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 徐亦飛;姜緒浩;周住銘;蔚萍萍
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06T3/40
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

一種基于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)的醫(yī)學(xué)圖像超分辨率方法，獲取高分辨率醫(yī)學(xué)圖像數(shù)據(jù)集，分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；將高分辨率醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行下采樣得到低分辨率醫(yī)學(xué)圖像數(shù)據(jù)集；在SRGAN的生成器模塊的殘差塊中使用空洞卷積替代普通卷積，得到第一網(wǎng)絡(luò)結(jié)構(gòu)模型；將第一網(wǎng)絡(luò)結(jié)構(gòu)模型的生成器模塊的批歸一化層去掉，得到第二網(wǎng)絡(luò)結(jié)構(gòu)模型；利用平均結(jié)構(gòu)相似性感知損失函數(shù)改進(jìn)SRGAN的感知損失函數(shù)，得到結(jié)構(gòu)感知損失函數(shù)；將高分辨訓(xùn)練數(shù)據(jù)集和低分辨率訓(xùn)練數(shù)據(jù)集作為第二網(wǎng)絡(luò)結(jié)構(gòu)模型的輸入，利用結(jié)構(gòu)感知損失函數(shù)對(duì)第二網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行訓(xùn)練；利用高分辨測(cè)試數(shù)據(jù)集和低分辨率測(cè)試數(shù)據(jù)集，對(duì)訓(xùn)練后的第二網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行驗(yàn)證，完成醫(yī)學(xué)圖像超分辨率。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)的醫(yī)學(xué)圖像超分辨率方法。

背景技術(shù)

醫(yī)學(xué)影像廣泛使用于臨床醫(yī)學(xué)輔助診斷中，醫(yī)生憑借它對(duì)病人身體內(nèi)部的情況有一個(gè)更直觀清晰的了解，從而進(jìn)行精準(zhǔn)診斷。但是由于硬件和掃描時(shí)間等因素，真實(shí)場(chǎng)景下的醫(yī)學(xué)圖像受限于空間分辨率，醫(yī)生無(wú)法對(duì)微小的病灶區(qū)域和病理特征進(jìn)行準(zhǔn)確的疾病分析，同時(shí)也造成了很多嚴(yán)重疾病無(wú)法及時(shí)被診斷出來(lái)，錯(cuò)過(guò)了治療的最佳時(shí)機(jī)。

在過(guò)去幾十年里，已經(jīng)提出了很多的工作來(lái)提高圖像分辨率。超分辨率算法最早由Harris和Goodman分別于1964和1968年提出，被稱為HarrisGoodman頻譜外推法。超分辨率算法越來(lái)越受重視，直到現(xiàn)在已經(jīng)發(fā)展成為圖像處理領(lǐng)域的一個(gè)重要的研究方向。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展和成熟，基于深度學(xué)習(xí)的方法已經(jīng)超越了傳統(tǒng)超分辨率算法。SRCNN是首個(gè)基于深度學(xué)習(xí)的端到端的超分辨率算法。做法是先將低分辨率圖像使用雙三次插值放大至目標(biāo)尺寸(如放大至2倍、3倍、4倍)，然后使用了三層卷積層，最終時(shí)間和性能都比當(dāng)時(shí)最先進(jìn)的傳統(tǒng)算法好很多。后續(xù)在圖像超分辨率領(lǐng)域里出現(xiàn)了一批優(yōu)秀模型比如EDSR、CARN、RDN等。他們?cè)趫D像質(zhì)量評(píng)價(jià)指標(biāo)(比如說(shuō)峰值信噪比PSNR)上做的越好越好，圖像質(zhì)量也相應(yīng)提升。這些網(wǎng)絡(luò)雖然在PSNR上表現(xiàn)的很好，但是在更高分辨率下圖像的保真度和視覺(jué)感知質(zhì)量令人不太滿意。于是有人利用生成對(duì)抗網(wǎng)絡(luò)(GAN)來(lái)對(duì)超分辨率工作進(jìn)行創(chuàng)新,SRGAN由此誕生。它是圖像超分辨率算法研究中的卓越之作，雖然在PSNR上的表現(xiàn)沒(méi)有其他模型那么優(yōu)秀，但是在圖像視覺(jué)感知效果上卻優(yōu)秀的多。

SRGAN雖然很優(yōu)秀，但是他只針對(duì)自然圖像效果很好，醫(yī)學(xué)影像仍然還是不夠好，因?yàn)獒t(yī)學(xué)圖像本身信息相對(duì)于自然圖像更少，所以醫(yī)學(xué)圖像超分辨率仍然是一個(gè)沒(méi)有解決的問(wèn)題。同時(shí)SRGAN訓(xùn)練出來(lái)的圖像會(huì)產(chǎn)生偽影，而且圖像質(zhì)量評(píng)價(jià)指標(biāo)并不高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的技術(shù)問(wèn)題，本發(fā)明提供了一種基于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)的醫(yī)學(xué)圖像超分辨率方法，用于克服上述技術(shù)問(wèn)題。

為了解決上述技術(shù)問(wèn)題，本發(fā)明通過(guò)以下技術(shù)方案予以解決：

一種基于生成對(duì)抗網(wǎng)絡(luò)改進(jìn)的醫(yī)學(xué)圖像超分辨率方法，包括以下步驟：

步驟1：獲取高分辨率醫(yī)學(xué)圖像數(shù)據(jù)集，將其分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

步驟2：將步驟1獲取的高分辨率醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行下采樣得到低分辨率醫(yī)學(xué)圖像數(shù)據(jù)集；

步驟3：在SRGAN的生成器模塊的殘差塊中使用空洞卷積替代普通卷積，得到第一網(wǎng)絡(luò)結(jié)構(gòu)模型；

步驟4：將步驟3得到的第一網(wǎng)絡(luò)結(jié)構(gòu)模型的生成器模塊的批歸一化層去掉，得到第二網(wǎng)絡(luò)結(jié)構(gòu)模型；

步驟5：利用平均結(jié)構(gòu)相似性感知損失函數(shù)改進(jìn)SRGAN的感知損失函數(shù)，得到結(jié)構(gòu)感知損失函數(shù)；

步驟6：將步驟1獲取的高分辨訓(xùn)練數(shù)據(jù)集和步驟2得到的低分辨率訓(xùn)練數(shù)據(jù)集作為第二網(wǎng)絡(luò)結(jié)構(gòu)模型的輸入，并利用步驟5得到的結(jié)構(gòu)感知損失函數(shù)對(duì)第二網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行訓(xùn)練；