[發明專利]一種基于感知一致生成對抗網絡的三維醫學圖像重建方法

有效

• 申請號: 202110235474.4
• 申請日: 2021-03-03
• 公開（公告）號: CN112967379B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 夏勇;潘永生;黃靜玉
• 申請（專利權）人: 西北工業大學深圳研究院;西北工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T7/00;G06N3/04;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

本發明公開了一種基于感知一致生成對抗網絡的三維醫學圖像重建方法，提出用二維圖像的三視圖重建三維圖像的方法，融合感知一致約束的感知一致生成對抗網絡(Sense?consistency Generative Adversarial Network,SGAN)去學習潛在的由粗到細的感知信息。首先，沿著投影方向展開一組二維圖像三視圖中的每一個切片，然后將其連接起來，形成與實際三維圖像對應的相同形狀的三通道三維圖像；然后，采用感知一致性約束提供在訓練生成模型時需要的潛在的從粗到細的感知信息，對SGAN模型進行訓練；最終訓練完成得到最終的SGAN模型，實現將二維圖像轉換為真實三維圖像。本發明能夠從一組三視角二維圖像重建三維圖像，一定程度上解決了UR任務。

技術領域

本發明屬于醫學圖像處理技術領域，具體涉及一種三維醫學圖像重建方法。

背景技術

三維圖像重建技術構成了常用成像方式的基礎，如CT、MRI和PET，它們在醫學圖像分析中非常有用。這些技術通常需要從相對運動中獲得一系列的二維切片/斷層圖，從而提供足夠的三維信息。然而，如何有效地獲取最有用的三維信息，以減少輻射劑量或成像時間，一直沒有得到很好的研究。例如，在一個人的身體中定位異常物體如醫療植入物或損傷，完成這一任務就需要三維圖像提供的三維空間。采用現有技術可行的一種方案是用二維切片序列掃描三維圖像。但是，這些二維切片提供了大量冗余的對于定位沒有用處的信息，并且在一定程度上造成了資源的浪費。由于一組正交的多視角二維圖像就能夠提供三維空間信息，因此，本發明提出了極限重建任務(Ultimate Reconstruction，UR)任務——僅從一組正交的三視角二維圖像中重建三維圖像。目前現有的技術并沒有能夠實現這一任務的。

發明內容

為了克服現有技術的不足，本發明提供了一種基于感知一致生成對抗網絡的三維醫學圖像重建方法，提出用二維圖像的三視圖重建三維圖像的方法，融合感知一致約束的感知一致生成對抗網絡(Sense-consistency Generative Adversarial Network,SGAN)去學習潛在的由粗到細的感知信息。首先，沿著投影方向展開一組二維圖像三視圖中的每一個切片，然后將其連接起來，形成與實際三維圖像對應的相同形狀的三通道三維圖像；然后，采用感知一致性約束提供在訓練生成模型時需要的潛在的從粗到細的感知信息，對SGAN模型進行訓練；最終訓練完成得到最終的SGAN模型，實現將二維圖像轉換為真實三維圖像。本發明能夠從一組三視角二維圖像重建三維圖像，一定程度上解決了UR任務。

本發明解決其技術問題所采用的技術方案包括以下步驟：

步驟1：構建采用感知一致性約束的SGAN模型；

所述SGAN模型包括一個采用UNet神經網絡的生成模型和具有兩個分支的判別模型，判別模型的兩個分支分別由兩個相同的五層卷積神經網絡構成；

步驟2：二維圖像預處理；

源圖像為一組正交的三視角二維圖像，將正視圖X_f沿正視方向延展D個副本，左視圖X_l沿左視方向延展H個副本，俯視圖X_t沿俯視方向延展W個副本，生成大小H×W×D的三維圖像；將生成的三維圖像再按通道維度堆疊形成3通道3D圖像，表示為大小為H×W×D×3；縮放三維圖像使其在每個方向具有相同的空間分辨率；再將三維圖像在三個方向上以滑動窗的方式裁剪出大小為N×N×N的多個圖像塊；

對所有的源圖像進行上述處理后和源圖像對應的真實三維圖像一起構成圖像數據集；

步驟3：SGAN模型訓練；

以步驟2構成的圖像數據集為樣本，將處理后的源圖像裁剪出的N×N×N大小的多個圖像塊輸入生成模型，生成模型的輸出為重建的三維目標圖像；