[發明專利]一種基于生成對抗網絡改進的醫學圖像超分辨率方法

有效

• 申請號: 201911259611.7
• 申請日: 2019-12-10
• 公開（公告）號: CN111178499B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 徐亦飛;姜緒浩;周住銘;蔚萍萍
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T3/40
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

1.一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，包括以下步驟：

步驟1：獲取高分辨率醫學圖像數據集，將其分為訓練數據集和測試數據集；

步驟2：將步驟1獲取的高分辨率醫學圖像數據集進行下采樣得到低分辨率醫學圖像數據集；

步驟3：在SRGAN的生成器模塊的殘差塊中使用空洞卷積替代普通卷積，得到第一網絡結構模型；

步驟4：將步驟3得到的第一網絡結構模型的生成器模塊的批歸一化層去掉，得到第二網絡結構模型；

步驟5：利用平均結構相似性感知損失函數改進SRGAN的感知損失函數，得到結構感知損失函數；

步驟6：將步驟1獲取的高分辨訓練數據集和步驟2得到的低分辨率訓練數據集作為第二網絡結構模型的輸入，并利用步驟5得到的結構感知損失函數對第二網絡結構模型進行訓練；

步驟7：利用步驟1獲取的高分辨測試數據集和步驟2得到的低分辨率測試數據集，對步驟6訓練后的第二網絡結構模型進行驗證，完成醫學圖像超分辨率。

2.根據權利要求1所述的一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，步驟2中，采用MATLAB的bicubic核函數進行4倍下采樣。

3.根據權利要求1所述的一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，步驟3中，所述第一網絡結構模型包括生成器模塊和判別器模塊；

所述第一網絡結構模型的生成器模塊的結構為：1個第一卷積層、1個第一激活層、16個參數相同的殘差塊、1個第二卷積層、2個組合上采樣層和1個第三卷積層依次開環連接，且16個殘差塊和第二卷積層組成1個組合殘差塊；

其中，每個參數相同的殘差塊包括2個空洞卷積層、2個批歸一化層和2個第二激活層，其結構為：1個空洞卷積層、1個批歸一化層、1個第二激活層、1個空洞卷積層、1個批歸一化層和1個第二激活層依次開環連接；

每個組合上采樣層包括1個第四卷積層、1個2倍上采樣的亞像素層和1個第三激活層，其結構為：1個第四卷積層、1個2倍上采樣的亞像素層和1個第三激活層依次開環連接；

所述第一網絡結構模型的判別器模塊的結構為：1個第五卷積層、1個第四激活層、7個組合層、1個全連接層、1個第五激活層、1個全連接層和1個第五激活層依次開環連接；

其中，每個組合層的結構為：1個第六卷積層、1個批歸一化層和1個第六激活層依次開環連接。

4.根據權利要求3所述的一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，步驟4中，所述第二網絡結構模型包括生成器模塊和判別器模塊；

將所述第一網絡結構模型的生成器模塊中的所有批歸一化層去掉，得到所述第二網絡結構模型的生成器模塊；

所述第二網絡結構模型的判別器模塊結構與所述第一網絡結構模型的判別器模塊的結構相同。

5.根據權利要求4所述的一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，所述第一網絡結構模型的生成器模塊和所述第二網絡結構模型的生成器模塊中：所有卷積層的卷積核尺寸均為3×3，步長為1；第一卷積層、空洞卷積層和第二卷積層的卷積核個數均為64個；第四卷積層的卷積核個數均為256個；第三卷積層的卷積核個數為3個；所有激活層均為PRelu層；

所述第一網絡結構模型的判別器模塊和所述第二網絡結構模型的判別器模塊中：所有卷積層的卷積核尺寸均為3×3；按照連接順序，從第五卷積層開始：卷積層的步長依次為1，2，1，2，1，2，1，2，卷積層的卷積核個數依次為64，64，128，128，256，256，512，512，最后一個激活層為sigmod層，其他激活層均為Leaky Relu層，第一個全連接層為1024維，第二個全連接層為1維。

6.根據權利要求5所述的一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，所述空洞卷積層中空洞卷積的膨脹率為2。

7.根據權利要求1所述的一種基于生成對抗網絡改進的醫學圖像超分辨率方法，其特征在于，步驟5中，所述結構感知損失函數為：

其中，平均結構相似性感知損失函數為：

其中，N是訓練的batchsize；x_k和y_k為第k個圖像對；SR是超分辨率super resolution的簡稱；SSIM是一種全參考的圖像質量評價指標，它分別從亮度、對比度、結構三方面度量圖像相似性，表示為：

其中，x和y為給定的兩個圖像，u_x和u_y分別是x和y的像素平均值，和分別是x和y的像素方差，σ_xy是x和y的像素協方差；c₁和c₂是用來維持穩定的常數，表示為：c₁＝(k₁L)²,c₂＝(k₂L)²；

其中，L是像素值的動態范圍，k₁＝0.01,k₂＝0.03；

VGG內容感知損失函數為：

W_i,j和H_i,j描述了VGG網絡內的各個特征圖的尺寸，用φ_i,j表示由VGG19網絡中的第i個最大卷積層之前的第j個卷積獲得的特征圖；為重建圖像；I^HR為參考圖像；LR表示低分辨率，HR表示高分辨率，I表示圖像；

Gen生成對抗感知損失函數為：

代表重建圖像為高分辨率圖像的概率。