[發明專利]一種基于神經網絡的圖像超分辨率重建方法及設備

有效

• 申請號: 202010221409.1
• 申請日: 2020-03-26
• 公開（公告）號: CN111429352B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張勇;鐘浩軒;趙東寧;梁長垠;曾慶好;何欽煜
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 劉芙蓉;孫果

1.一種基于神經網絡的圖像超分辨率重建方法，其特征在于，所述神經網絡包括：特征提取模塊、感受野與通道融合模塊和圖像重建模塊；其中，所述感受野與通道融合模塊包括：多個包括感受野融合單元和通道信息融合單元的信息融合組；

所述圖像超分辨率重建方法包括：

將目標圖像輸入至所述特征提取模塊，通過所述特征提取模塊輸出與所述目標圖像對應的第一輸出特征圖；

將所述第一輸出特征圖輸入所述感受野與通道融合模塊，通過所述感受野與通道融合模塊中各個信息融合組依次進行特征映射后，得到所述感受野與通道融合模塊輸出與所述第一輸出特征圖對應的第二輸出特征圖；

將所述第二輸出特征圖輸入所述圖像重建模塊，通過所述圖像重建模塊輸出與所述目標圖像對應的超分辨率重建圖像；

所述感受野融合單元包括：多個對應不同尺度卷積核的第一卷積層和感受野融合層；

所述將所述第一輸出特征圖輸入所述感受野與通道融合模塊，通過所述感受野與通道融合模塊中各個信息融合組依次進行特征映射后，得到所述感受野與通道融合模塊輸出與所述第一輸出特征圖對應的第二輸出特征圖的步驟包括：

輸入至所述感受野與通道融合模塊的第一輸出特征圖，依次輸入至各個信息融合組內的所述第一卷積層、各個第一卷積層輸出的多個三維特征圖及其像素值的相加和依次輸入至通道信息融合單元和感受野融合層，得到由所述感受野融合層輸出的與所述第一輸出特征圖對應的第二輸出特征圖。

2.根據權利要求1所述的基于神經網絡的圖像超分辨率重建方法，其特征在于，輸入至所述感受野與通道融合模塊的第一輸出特征圖，依次輸入至各個信息融合組內的所述第一卷積層、各個第一卷積層輸出的多個三維特征圖及其像素值的相加和依次輸入至通道信息融合單元和感受野融合層，得到由所述感受融合層輸出的與所述第一輸出特征圖對應的第二輸出特征圖的步驟包括：

將所述第一輸出特征圖輸入第一信息融合組的感受野融合單元，通過所述第一信息融合組的感受野融合單元的多個第一卷積層輸出與所述第一輸出特征圖相對應的多個不同感受野的三維特征圖；

將多個不同感受野的三維特征圖的像素值相加后輸入第一信息融合組的通道信息融合單元，通過所述第一信息融合組的通道信息融合單元輸出多個攜帶有與各個三維特征圖對應的通道信息權值的標定特征圖；

將各個三維特征圖、與各個三維特征圖對應的通道信息權值輸入至所述感受野融合層，通過所述感受野融合層得到與所述第一輸出特征圖對應的第一感受野融合特征圖；

將第二信息融合組中的感受野融合單元和通道信息融合單元依次作為目標輸入單元，將所述第一感受野融合特征圖作為目標輸入特征圖；

將所述目標輸入特征圖依次輸入到所述目標輸入單元，通過所述目標輸入單元中的通道信息融合單元輸出第二感受野融合特征圖；

將所述第二感受野融合特征圖作為目標輸入特征圖，并將位于所述目標輸入單元后一組的信息融合組中的感受野融合單元和通道信息融合單元依次作為目標輸入單元；

繼續執行將目標輸入特征圖輸入到所述目標輸入單元，通過所述目標輸入單元得到感受野融合特征圖的步驟，直至通過第k層目標輸入組輸出第k感受野融合特征圖，得到所述感受野與通道融合模塊輸出的第二輸出特征圖，其中，k為正整數。

3.根據權利要求2所述的基于神經網絡的圖像超分辨率重建方法，其特征在于，所述通道信息融合單元包括：壓縮層、第一全連接層和第二全連接層；

所述將多個不同感受野的三維特征圖的像素值相加后輸入第一信息融合組的通道信息融合單元，通過所述第一信息融合組的通道信息融合單元輸出多個攜帶有與各個三維特征圖對應的通道信息權值的標定特征圖的步驟包括：

所述將多個不同感受野的三維特征圖輸入壓縮層，通過所述壓縮層輸出對所述第一感受野融合特征圖進行平均池化后的壓縮特征圖；

將所述壓縮特征圖輸入至第一全連接層，通過所述第一全連接層輸出對所述壓縮特征圖進行降維處理后的低維特征圖；

將所述低維特征圖進行非線性映射得到的非線性特征圖分別輸入至多個所述第二全連接層，通過各個所述第二全連接層輸出多個攜帶有與各個三維特征圖對應的通道信息權值的標定特征圖。