[發明專利]一種基于生成對抗網絡的胸部X光片超分辨率和去噪方法

在審

• 申請號: 202011164179.6
• 申請日: 2020-10-27
• 公開（公告）號: CN112258415A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 金燕;姜智偉
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06F8/41;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 高燕

1.一種基于生成對抗網絡的胸部X光片超分辨率和去噪方法，其特征在于，包括以下步驟：

(1)收集胸部X光片，進行預處理后構建訓練集；所述的胸部X光片包括清晰高分辨率圖片和對應的低分辨率含噪聲圖片；

(2)構建胸部X光片的生成對抗網絡；所述的生成對抗網絡包括：

生成器，根據輸入生成虛假圖片，所述的虛假圖片為去除噪聲并且分辨率加倍的超分辨率圖片；

判別器，用于判別所述的訓練集中的清晰高分辨率圖片與生成器生成的虛假圖片；

VGG16網絡，用于構建感知損失函數正則項；

(3)將所述訓練集中的低分辨率含噪聲圖片作為輸入，對構建的生成對抗網絡進行訓練；在訓練過程中生成器不斷生成虛假圖片，將生成的虛假圖片和所述訓練集中的清晰高分辨率圖片不斷在判別器中進行對抗，最終直至生成對抗網絡收斂且判別器分辨不出虛假圖片和清晰高分辨率圖片，得到訓練完成的生成對抗網絡模型；

(4)將含有噪聲且需要超分辨率的待處理胸部X光片進行預處理后，作為所述生成對抗網絡模型的生成器的輸入，生成去除噪聲并且分辨率加倍的超分辨率圖片，完成對待處理胸部X光片的超分辨率和去噪處理。

2.根據權利要求1所述的基于生成對抗網絡的胸部X光片超分辨率和去噪方法，其特征在于，所述的預處理包括對胸部X光片進行旋轉、縮放以及歸一化。

3.根據權利要求1所述的基于生成對抗網絡的胸部X光片超分辨率和去噪方法，其特征在于，所述的生成器包括：

多尺度淺層紋理特征提取模塊，包括卷積層和激活函數層，用于抓取圖片的淺層紋理特征，并將淺層紋理特征輸出至深層紋理特征提取及噪聲消除模塊；

深層紋理特征提取及噪聲消除模塊，由稠密網絡塊組成，所述稠密網絡塊包括卷積層和激活函數層，用于提取圖像深層紋理特征并消除噪聲；

超分辨率模塊，由上采樣塊組成，所述上采樣塊包括卷積層、反卷積層以及激活函數層，用于上采樣并擴大圖片的分辨率。

4.根據權利要求3所述的基于生成對抗網絡的胸部X光片超分辨率和去噪方法，其特征在于，多尺度淺層特征提取模塊通過使用三種不同尺寸大小的卷積核對輸入圖像進行卷積操作，卷積核大小分別為(1×1)、(3×3)和(5×5)；其中(1×1)卷積核的卷積步長為1，填充為0，輸出通道為64；(3×3)卷積核的卷積步長為1，填充為1，輸出通道為64；(5×5)卷積核的卷積步長為1，填充為2，輸出通道為64；最后將三個卷積核所提取的圖像信息通過特征融合方式合并在一起；

深層紋理特征及噪聲消除模塊由6個稠密網絡塊組成，6個稠密網絡塊依次連接并將每個稠密網絡塊輸出的結果都乘一個殘差系數；每個稠密網絡塊由5部分組成，前4部分由(3×3)的卷積層和PRelu激活函數組成，其中(3×3)的卷積步長為1，填充為1，輸出通道為64；第5部分由(3×3)的卷積組成，卷積步長為1，填充為1，輸出通道為64；最后將每一層的輸出與后面的所有輸出相連接即每個層都會接受其前面所有層作為額外的輸出；

超分辨率模塊由3個Up模塊和2個Down模塊組成，其中Up模塊分別在頭部、中部、尾部，再將前一個Up模塊的輸入與下一個Up模塊的輸入連接，前一個Down模塊的輸入與下一個Down模塊的輸入連接；每個Up模塊內部由4部分組成：分別為2個卷積塊和2個反卷積塊，連接方式是交叉連接的方式，并將前一個卷積塊的輸出與下一個卷積塊的輸出相減，前一個反卷積塊的輸出與下一個反卷積塊的輸出相加；Down模塊內部由3個卷積塊和一個反卷積塊組成，以卷積-卷積-反卷積-卷積的方式連接，并將第一個卷積的輸出與反卷積的輸出相減，第二個卷積的輸出與第四個卷積的輸出相加；其中Up模塊和Down模塊中的第一個卷積塊由(1×1)的卷積和PRelu函數組成，卷積步長為1，填充為0，輸出通道為64；其余卷積塊由(6×6)的卷積和PRelu函數組成，卷積步長為2，填充為2，輸出通道為64；Up模塊與Down模塊中的反卷積塊由(6×6)的反卷積和PRelu函數組成，反卷積步長為2，填充為2，輸出通道為64。

5.根據權利要求1所述的基于生成對抗網絡的胸部X光片超分辨率和去噪方法，其特征在于，所述的判別器由卷積層、激活函數層和批量歸一化層組成。