[發明專利]基于模塊化GAN的多模態MRI與多模態CT的轉換方法、系統及介質

有效

• 申請號: 201910880585.3
• 申請日: 2019-09-18
• 公開（公告）號: CN110689561B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 瞿毅力;蘇琬棋;鄧楚富;王瑩;盧宇彤;陳志廣
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/30
• 分類號: G06T7/30
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發明公開了一種基于模塊化GAN的多模態MRI與多模態CT的轉換方法、系統及介質，本發明轉換方法包括根據所需執行的任務類型，選擇GAN網絡中訓練好的模塊來進行CT圖?CT圖模態轉換、CT圖?MRI圖模態轉換、MRI圖?MRI圖模態轉換、MRI圖?CT圖模態轉換、CT圖?MRI病灶任務轉換、MRI圖?CT病灶任務。本發明考慮到MRI和CT內部子模態十分相似但MRI與CT兩個模態又有巨大差異的情況，提出了一種采用模塊化的條件GAN的轉換方法，本發明可采用無監督學習方法，訓練數據無需配準，在無需訓練多個GAN的情況下能便利高校的實現單模態轉換生成配準的多模態MRI和CT圖。

技術領域

本發明涉及醫學圖像處理領域，具體涉及一種基于模塊化GAN的多模態MRI與多模態CT的轉換方法、系統及介質，可用于根據給定模態的MRI或CT圖和目標模態，通過條件生成對抗網絡生成配準的多模態MRI和CT圖。

背景技術

醫學影像有很多的模態，例如核磁共振影像(MRI)、超聲波、CT等等。MRI可以再細分出T1、T2、T1w、T2w等不同對比度的子模態，CT也可以根據不同的照射劑量得到不同的子模態圖像。相較于單模態數據，配準的多模態影像數據能提供更多的信息。然而，配準的多模態醫學影像的采集代價很高。因此，通過應用圖像合成技術擴展數據集，從已有的單模態圖像轉換為配準的多模態圖像，有著廣泛的用途和深遠的意義。一些研究采用全卷積神經網絡(FCN)或者生成對抗網絡(GAN)來進行醫學圖像的轉換。FCN需要配準的多模態數據集來進行有監督學習，這帶來了極大的限制。GAN可以實現無監督學習，通常包含一個生成器和鑒別器，生成器實現模態的轉換生成，鑒別器為生成器提供一個對抗性損失指導其生成的圖像更加真實。在使用GAN進行多模態醫學圖像轉換時，一種思路是訓練多個GAN，每個GAN負責一項轉換任務，另一種思路是采用條件GAN，在模態輸入時加入目標模態的指向信息，通過不同的條件指向來訓練生成器實現不同的轉換任務。

當前的基于條件GAN的多域轉換方法只適用于MRI或CT內部各個十分相似的子模態的轉換。采用兩個GAN實現的MRI與CT雙模態的轉換的方法在擴展到多模態時代價昂貴。而配準的多模態MRI和多模態CT的轉換尚無相關的成熟研究。

發明內容

本發明要解決的技術問題：針對現有技術的上述問題，提供一種基于模塊化GAN的多模態MRI與多模態CT的轉換方法、系統及介質，本發明考慮到MRI和CT內部子模態十分相似但MRI與CT兩個模態又有巨大差異的情況，提出了一種采用模塊化的條件GAN的轉換方法，本發明可采用無監督學習方法，訓練數據無需配準，在無需訓練多個GAN的情況下能便利高校的實現單模態轉換生成配準的多模態MRI和CT圖。

為了解決上述技術問題，本發明采用的技術方案為：

一種基于模塊化GAN的多模態MRI與多模態CT的轉換方法，實施步驟包括：

1)判斷需要執行的任務類型，若該任務為CT圖-CT圖模態轉換則跳轉執行步驟2)，為CT圖-MRI圖模態轉換則跳轉執行步驟3)，為MRI圖-MRI圖模態轉換則跳轉執行步驟4)，為MRI圖-CT圖模態轉換則跳轉執行步驟5)，為CT圖-MRI病灶任務轉換則跳轉執行步驟6)，為MRI圖-CT病灶任務轉換則跳轉執行步驟7)；

2)將完成訓練后的GAN網絡中的CT模態編碼器與CT模態解碼器組合可以得到一個CT內部多模態轉換器，通過CT內部多模態轉換器將輸入的任意模態的CT圖通轉換生成目標模態的轉換生成CT圖；退出；

3)將完成訓練后的GAN網絡中的CT模態編碼器與MRI模態解碼器組合可以得到一個CT-MRI多模態轉換器，通過CT-MRI多模態轉換器將輸入的任意模態的CT圖通轉換生成目標模態的轉換生成MRI圖；退出；

4)將完成訓練后的GAN網絡中的MRI模態編碼器與MRI模態解碼器組合可以得到一個MRI內部多模態轉換器，通過MRI內部多模態轉換器將輸入的任意模態的MRI圖通轉換生成目標模態的轉換生成MRI圖；退出；