[發明專利]CT圖像和MRI三維圖像的配準方法、裝置

有效

• 申請號: 202210290221.1
• 申請日: 2022-03-24
• 公開（公告）號: CN114387317B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 張昊任;沈亞奇;史紀鵬;董夢醒
• 申請（專利權）人: 真健康(北京)醫療科技有限公司
• 主分類號: G06T7/30
• 分類號: G06T7/30;G06N3/04;G06N3/08
• 代理公司: 北京力致專利代理事務所(特殊普通合伙) 11900
• 代理人: 陳博旸

1.一種CT圖像和MRI三維圖像的配準方法，其特征在于，包括：

獲取原始采集得到的CT圖像和MRI三維圖像并進行預處理操作，得到CT處理圖像和MRI處理圖像；

利用所述CT處理圖像和MRI處理圖像對模態轉換網絡進行訓練，得到所述模態轉換生成器，其中所述模態轉換網絡包括生成器、生成器、判別器和判別器，所述生成器的輸入為CT處理圖像，輸出為模態轉換后的CT模態轉換圖像，所述生成器的輸入為MRI處理圖像，輸出為模態轉換后的MRI模態轉換圖像，所述判別器和所述判別器的輸入為任意模態圖像，輸出為是否屬于CT模態或MRI模態；

所述生成器或所述生成器為包括兩個下采樣層和兩個上采樣層的U-Net網絡；所述判別器和所述判別器為包括四個卷積層和一個全連接層的網絡結構；

所述利用所述CT處理圖像和MRI處理圖像對模態轉換網絡進行訓練，得到所述模態轉換生成器，包括：

將一組所述CT處理圖像和MRI處理圖像作為輸入，由所述生成器和生成器分別對所述CT處理圖像和MRI處理圖像進行模態轉換，得到模態轉換后的CT模態轉換圖像和模態轉換后的MRI模態轉換圖像；

基于所述判別器和判別器，判斷所述CT模態轉換圖像和所述MRI模態轉換圖像是否屬于CT模態或MRI模態，得到生成對抗損失；

基于所述生成器和生成器，將所述CT模態轉換圖像和所述MRI模態轉換圖像轉換至原CT模態和MRI模態，并與所述CT處理圖像和MRI處理圖像進行比較，得到循環一致損失；

根據所述生成對抗損失和所述循環一致損失，反向更新所述生成器、生成器、判別器和判別器的網絡參數；

將訓練完畢的所述生成器和所述生成器，作為所述模態轉換生成器；

利用預訓練得到的模態轉換生成器對所述CT處理圖像和MRI處理圖像進行模態轉換，得到CT模態轉換圖像和MRI模態轉換圖像；

利用預訓練得到的單模態配準網絡對所述CT處理圖像和MRI處理圖像進行預測，得到單模態配準置信度；

利用預訓練得到的多模態配準網絡，對所述CT處理圖像、MRI處理圖像、CT模態轉換圖像、MRI模態轉換圖像和所述單模態配準置信度進行配準，以實現所述CT圖像和MRI三維圖像的自動配準。

2.根據權利要求1所述的方法，其特征在于，所述生成對抗損失為

其中，為將CT處理圖像轉換至MRI模態的模態轉換網絡的生成對抗損失；為將MRI處理圖像轉換至CT模態的模態轉換網絡的生成對抗損失；

所述循環一致損失為

其中，為將所述CT模態轉換圖像轉換至原CT模態的循環一致損失；

為將所述MRI模態轉換圖像轉換至原MRI模態的循環一致損失。

3.根據權利要求1所述的方法，其特征在于，在所述利用預訓練得到的單模態配準網絡對所述CT處理圖像和MRI處理圖像進行預測，得到單模態配準置信度之前，還包括：

利用所述CT處理圖像、所述MRI處理圖像、所述CT模態轉換圖像和所述MRI模態轉換圖像，對所述單模態配準網絡進行訓練，得到訓練完畢的所述單模態配準網絡；其中，所述單模態配準網絡包括第一單模態配準子網絡和第二單模態配準子網絡；

利用所述第一單模態配準子網絡和所述第二單模態配準子網絡，分別對每組所述CT處理圖像和MRI處理圖像進行配準，得到三維非剛性形變場；

將所述三維非剛性形變場與目標體素的誤差，作為所述單模態配準置信度。