[發明專利]一種超分辨率重建方法、裝置、存儲介質及電子設備

在審

• 申請號: 202011161862.4
• 申請日: 2020-10-26
• 公開（公告）號: CN112200725A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 黃建軍;李健平;康莉
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/46;G06N3/04
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李靜玉

本發明公開了一種超分辨率重建方法、裝置、存儲介質及電子設備，該方法包括：獲取高分辨率圖像和待處理的低分辨率圖像；根據聯想記憶網絡建立兩種模態高分辨率圖像的多尺度關聯關系，得到第一種模態高分辨率圖像與第二種模態高分辨率圖像之間的多尺度關聯圖像；采用多分辨多模態超分辨率重建網絡，將第一種模態高分辨率圖像在聯想記憶網絡中生成的多尺度關聯圖像，與第二種模態的低分辨率圖像進行融合，得到第二種模態的低分辨率圖像對應的超分辨率圖像。本發明實施例充分結合了多分辨率分析的思想，使得網絡在重建過程中具有一定的可解釋性。該方法采用兩個神經網絡分別進行采用分解和融合工作，得到超分辨率圖像，完成超分辨率重建工作。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種超分辨率重建方法、裝置、存儲介質及電子設備。

背景技術

高分辨率(High Resolution，HR)醫學圖像可以提供豐富的結構細節，這對幫助醫生發現病變極為重要。然而，由于設備限制、掃描時間或患者舒適度的限制，很難獲得HR磁共振成像(Magnetic Resonance Imaging，MRI)。目前，提高MRI分辨率的常用方法有兩種：第一是改進設備性能或掃描方法，成本較高；第二是通過超分辨率(Super－resolution，SR)重建技術從已知的低分辨率(Low Resolution，LR)圖像中重建HR MRI，從而克服了硬件成本的限制。第二種方法由于具有較高的性價比，故在醫學圖像超分辨率研究領域引起了廣泛的興趣。

近年來，隨著深度學習的快速發展，越來越多的學者成功地將其應用于圖像超分辨領域。Dong等人首次將卷積神經網絡(Convolutional Neural Network，CNN)應用到圖像SR重建中，他們使用三層CNN學習LR/HR圖像之間端到端的映射，從而指導HR圖像的重建。此后，越來越多優秀的基于CNN的SR重建算法被提出，這極大地促進了MRI圖像超分辨率重建的發展。在多模態超分辨率重建方面，Pham等人提出了一種3D殘差CNN來執行MRI SR任務，將插值后的LR圖像與預測圖像以殘差的方式相結合，生成HR圖像。為了加快重構時間，Xiang等人在Unet的基礎上與密集連接網絡(Densely connected network)進行組合，提出Dense－Unet來完成重構任務。為了進一步驗證參考圖像對重建效果的影響，Zeng等人構建了可以同時進行單對比度和多對比度的超分辨率重建網絡。

以上多模態重建方法都有一個共同的特點，即LR圖像和參考圖像都是先通過通道結合的方式輸入網絡進行特征提取，然后再通過神經網絡的強大的學習能力生成HR圖像。雖然可以獲得更好的重建性能，但多模態重建網絡是不可解釋的，這可能會導致生成的HR圖像不可靠。

發明內容

有鑒于此，本發明實施例提供了一種超分辨率重建方法、裝置、存儲介質及電子設備，以解決現有的超分辨率重建網絡不可靠的技術問題。

本發明提出的技術方案如下：

本發明實施例第一方面提供一種超分辨率重建方法，該方法包括：獲取高分辨率圖像和待處理的低分辨率圖像；根據聯想記憶網絡建立兩種模態高分辨率圖像的多尺度關聯關系，得到第一種模態高分辨率圖像與第二種模態高分辨率圖像之間的多尺度關聯圖像；采用多分辨多模態超分辨率重建網絡，將第一種模態高分辨率圖像在聯想記憶網絡中生成的多尺度關聯圖像，與第二種模態的低分辨率圖像進行融合，得到第二種模態的低分辨率圖像對應的超分辨率圖像。

可選地，所述兩種模態高分辨率圖像中，第一種模態高分辨率為T1加權像和第二種模態高分辨率為T2加權像，根據聯想記憶網絡建立兩種模態高分辨率圖像的多尺度關聯關系，得到第一種模態高分辨率圖像與第二種模態高分辨率圖像之間的多尺度關聯圖像，包括：根據聯想記憶網絡建立高分辨率T1加權像和高分辨率T2加權像多尺度關聯關系，將高分辨率T1加權像分解出多個與高分辨率T2加權像相關的關聯圖像。