[發明專利]基于循環生成對抗網絡CycleGAN模型的跨模態MR影像互生成方法

在審

• 申請號: 202110431489.8
• 申請日: 2021-04-21
• 公開（公告）號: CN113205472A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 王潤涵;馮瑞
• 申請（專利權）人: 復旦大學;珠海復旦創新研究院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 王偉珍

本發明屬于計算機視覺領域，提供了一種基于循環生成對抗網絡CycleGAN模型的跨模態MR影像互生成方法，使用了CycleGAN模型模型，可以生成對目標模態真實影像具有良好近似度的合成影像，而采用了循環的網絡結構可以將模型的訓練集由兩兩配對的源模態與目標模態影像的限制弱化為不需要配對的影像，這使得模型的訓練難度降低，使用場景更廣。同時，本發明能夠通過跨模態MR影像互生成模型獲得較為真實的不同模態MR影像，相較于簡單的數據增強方法，合成影像具有更好的保真度并保留了更多的生物組織結構信息的優勢，能夠作為MR影像的分割、分類等下游任務的模型的訓練數據，起到了擴充訓練集和數據增強的作用，能夠有效緩解MR影像獲取難度大和數據稀缺的問題。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于循環生成對抗網絡CycleGAN模型的跨模態MR影像互生成方法。

背景技術

核磁共振成像技術是一種常用的且十分重要的疾病監測技術，核磁共振醫學影像(MR印象)可以反映人體器官的側面、冠狀、矢狀以及任何方向截斷面的影像和人體器官的豐富的紋理信息，因此MR影像被廣泛地用于臨床診斷(如疾病的早期診斷)、手術模擬以及生物組織物理特性的評估。作為軟組織病灶評估的首選方法，MR影像可以提供多種不同的對比度，通過同一處病理的不同對比度影像，提供更加豐富的診斷信息。如T1加權影像對于灰質和白質的描述很有效，而T2加權影像對于流體和脂肪的描述則更有用，其中T1與T2是MR成像過程中的兩種弛豫時間，表示兩種不同模態的MR影像。

近年來，隨著深度學習的不斷發展，MR成像技術在醫學影像分析領域越發重要。對MR影像進行分類、分割等任務的神經網絡深度學習模型需要大量的樣本作為訓練集，而MR影像不同于人臉、服裝等影像，它涉及到病人的隱私等問題，一般難以獲取到大量數據。同時，大量拍攝MR影像也存在著成本高昂，速度緩慢等缺點。

目前解決醫學影像樣本稀缺問題主要采用的是數據集擴充的方式，傳統的數據集擴充方法包括旋轉、翻轉、裁剪等，但是這些方法只提供全局影像變換，不改變影像的細節，使得產生的影像是高度相似的，這會導致深度學習模型過擬合，影響得到的最終影像。隨著生成對抗網絡(GAN)的產生和不斷發展，提升了醫學影像的生成質量和生成速度，其僅利用相同特征分布的影像數據，通過特征提取的方式進行影像的生成，為醫學影像合成提供了新的思路。然而由于GAN利用隨機噪聲生成影像不能模擬生物組織的紋理結構信息的局限性，其生成的影像質量依然不高，存在保真度較低以及生物組織結構信息丟失等問題。而且GAN要求在模型訓練的過程中，用作輸入的源模態影像和目標模態的真實影像是配對的，以此來使得損失函數最小化，從而訓練模型，在這種訓練過程中，仍舊存在MR影像獲取難度大，能夠作為訓練集的數據較為稀缺的問題。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種基于循環生成對抗網絡CycleGAN模型的跨模態MR影像互生成方法。

本發明提供了一種基于循環生成對抗網絡CycleGAN模型的跨模態MR影像互生成方法，具有這樣的特征，包括如下步驟：步驟S1，將待使用MR影像進行預處理，得到源模態MR影像；步驟S2，將源模態MR影像輸入訓練好的循環生成對抗網絡CycleGAN模型模型中，得到目標模態的MR影像，其中，循環生成對抗網絡CycleGAN模型模型的訓練過程如下：步驟A1，構建循環生成對抗網絡CycleGAN模型模型；步驟A2，將未配對的訓練用源模態MR影像集合作為訓練集輸入到循環生成對抗網絡CycleGAN模型模型中，對循環生成對抗網絡CycleGAN模型模型進行訓練，得到訓練好的循環生成對抗網絡CycleGAN模型模型，循環生成對抗網絡CycleGAN模型模型包括生成器和判別器，生成器的輸入為源模態MR影像，輸出為目標模態的MR影像，判別器的輸入為生成器輸出的目標模態的MR影像，輸出為概率值，概率值用于對生成器輸出的目標模態的MR影像進行真假判別。