[發明專利]基于U-Net和金字塔模塊的圖像融合去噪方法及系統

有效

• 申請號: 202110162762.1
• 申請日: 2021-02-05
• 公開（公告）號: CN112801909B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 陳羽中;沈啟金;牛玉貞;陳鈞榮
• 申請（專利權）人: 福州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

1.一種基于U-Net和金字塔模塊的圖像融合去噪方法，其特征在于，包括以下步驟：

步驟S1：將成對的原始噪聲圖像和無噪聲圖像進行預處理，得到用于訓練的噪聲圖像塊和無噪聲圖像塊組成的成對圖像塊；

步驟S2：選取圖像去噪深度網絡FFDNet，并加載已訓練完成的網絡參數；

步驟S3：構建用于生成最終的去噪圖像的基于U-Net和金字塔模塊的圖像融合去噪網絡；

步驟S4：以批次為單位將成對圖像塊輸入所述FFDNet，并將FFDNet得到的結果輸入所述圖像融合去噪網絡，根據損失函數訓練圖像融合去噪網絡；

步驟S5：將用于測試的原始噪聲圖像輸入所述FFDNet，并將FFDNet得到的結果輸入訓練好的所述圖像融合去噪網絡，得到最終的去噪圖像；

所述步驟S2具體包括以下步驟：

步驟S21：選取圖像去噪深度網絡FFDNet；加載FFDNet的已訓練完成的網絡參數并固定網絡參數不變，即訓練時不更新網絡參數；

步驟S22：對每一個噪聲圖像塊，根據噪聲圖像塊的噪聲幅度設置去噪參數σ和σ'，其中σ為噪聲圖像塊的噪聲幅度，σ'為σ縮小到其p％得到的噪聲幅度；然后得到FFDNet的噪聲等級圖M_σ和M_σ'用于控制FFDNet網絡的去噪強度；其中，每個噪聲圖像塊的噪聲等級圖M_σ的圖像尺寸與對應的噪聲圖像塊一致，且圖像中的每個像素值均為σ；每個噪聲圖像塊的噪聲等級圖M_σ'的圖像尺寸與對應的噪聲圖像塊一致，且圖像中的每個像素值均為σ'；

步驟S23：對每一個噪聲圖像塊，將噪聲幅度為σ的原始噪聲圖像塊分別與步驟S22得到的噪聲等級圖M_σ和M_σ'進行通道拼接得到I_σ和I_σ'；

步驟S24：將步驟S23得到的I_σ和I_σ'分別輸入FFDNet得到兩幅初始去噪圖像D_σ和D_σ'；

所述步驟S3中，構建的基于U-Net和金字塔模塊的圖像融合去噪網絡包含四個部分，分別是編碼器部分、融合模塊部分、金字塔模塊部分和解碼器部分；

所述編碼器部分含有兩個結構相同但參數獨立的分支，分別用于提取步驟S24中兩幅初始去噪圖像D_σ和D_σ'的多尺度特征；每個分支由一個卷積層和兩個下采樣層組成；其中卷積層中卷積核大小為5x5、步長為1，下采樣層包含一個含有卷積核大小為5x5、步長為2的卷積層和一個激活函數；編碼器部分將網絡的特征劃分為3種不同的尺度；

對應編碼器部分的第一個分支得到的3種不同尺度特征分別為和編碼器部分的第二個分支得到的3種不同尺度特征分別為和

所述融合模塊部分由n個串聯的殘差塊組成，它的輸入為編碼器部分得到的特征和經過通道拼接后再進行一個卷積核大小為1x1、步長為1的卷積層進行通道數縮減后得到的特征，輸出的特征為F^c；

所述金字塔模塊部分將融合模塊部分的輸出的特征F^c分別與編碼器部分的兩個分支得到的3種不同尺度特征進行特征融合，過程如下：

金字塔模塊第一層：首先，對應融合模塊的輸出的特征F^c分別與編碼器部分的兩個分支的寬高維度大小相同的特征和直接進行通道拼接得到和其次，和分別經過兩個卷積核大小為3x3、步長為1的卷積層和一個卷積核大小為1x1、步長為1的卷積層進行通道數縮減后得到和最后，通過逐元素相加操作將和分別與和進行特征相加得到和

金字塔模塊第二層：首先，將F^c進行一次上采樣操作得到與和寬高維度相同的特征其次，分別將與編碼器部分的兩個分支的寬高維度大小相同的特征和進行通道拼接得到和再次，和分別經過兩個卷積核大小為3x3、步長為1的卷積層和一個卷積核大小為1x1、步長為1的卷積層進行通道數縮減后得到和最后，通過逐元素相加操作將和分別與和進行特征相加得到和特別地，第二層過程中的上采樣過程包含一次最近鄰插值操作、一個卷積核大小為3x3，步長為1的卷積和一個ReLU激活函數；

金字塔模塊第三層：首先，將先進行一次上采樣操作得到與和寬高維度相同的特征其次，分別將與和進行通道拼接得到和再次，和分別經過兩個卷積核大小為3x3、步長為1的卷積層和一個卷積核大小為1x1、步長為1的卷積層進行通道數縮減后得到和最后，通過逐元素相加操作將和分別與和進行特征相加得到和特別地，第三層過程中的上采樣過程包含一次最近鄰插值操作、一個卷積核大小為3x3，步長為1的卷積和一個ReLU激活函數；

所述解碼器部分由兩個上采樣層和一個輸出卷積層組成，每個上采樣層的過程包含一次最近鄰插值操作、一個卷積核大小為3x3，步長為1的卷積和一個ReLU激活函數，輸出卷積層是一個卷積核大小為1x1、步長為1的卷積操作；第一層上采樣層的輸入為融合模塊輸出的特征F^c、金字塔模塊第一層的特征和經過通道拼接后得到的特征第一層上采樣層的輸出特征為第二層上采樣層的輸入為第一次上采樣層的輸出特征金字塔模塊第二層的特征和經過通道拼接后得到的特征第二層上采樣層的輸出特征為輸出卷積層的輸入為第二次上采樣層的輸出特征金字塔模塊第三層的特征和經過通道拼接后得到的特征輸出卷積層的輸出為最終的去噪圖像D_out。