[發明專利]用于醫學成像中分段的基于形狀的生成對抗網絡

在審

• 申請號: 202010788621.6
• 申請日: 2020-08-07
• 公開（公告）號: CN112348908A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: A·J·雅各布;T·帕塞里尼
• 申請（專利權）人: 西門子醫療有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李雪娜;劉春元

為了醫學成像中的分段，在訓練中使用形狀生成對抗網絡(形狀GAN)。通過在比圖像空間的像素或體素更低維度的空間中包括形狀信息，可以利用形狀損失或優化來訓練網絡。對抗損失和形狀損失被用于訓練網絡，因此所得到的生成器可以在2D或3D中對復雜形狀進行分段。可以使用其他優化，諸如使用圖像空間中的損失。

相關案件

本申請要求2019年8月7日提交的EP19190567.8的優先權，其全部內容通過引用結合于此。

背景技術

本實施例涉及醫學成像中的自動分段。形狀被廣泛用于醫學圖像分段算法中，以將分段的區域約束為一類學習的形狀。傳統的分段通常基于統計形狀模型或水平集。基于機器學習的分段可以不使用形狀。深度學習方法已經被用于訓練網絡以進行分段。在訓練中使用的損失函數是基于像素差異的(即，訓練損失是以逐像素的方式定義的)。這導致了大部分可用信息的損失。形狀先驗的缺乏通常導致不正確的拓撲。已經進行了一些嘗試，以將基于形狀的損失項包括到深度學習問題的優化，并直接在形狀空間中進行優化。然而，這些已被證明僅對二維(2D) 簡單的、相對凸起的形狀有效，而對于更復雜的三維(3D)形狀常常不能收斂。

發明內容

作為介紹，下面描述的優選實施例包括用于分段的方法、計算機可讀介質和系統。在訓練中使用形狀生成對抗網絡(形狀GAN)。通過在比圖像空間的像素或體素更低維度的空間中包括形狀信息，可以利用形狀損失或優化來訓練網絡。通過使用對抗訓練，懲罰了錯誤形狀。對抗損失和形狀損失被用于訓練網絡，因此所得到的生成器可以在2D或3D中分段復雜形狀。可以使用其他優化，諸如使用圖像空間中的損失。

在第一方面，提供了一種用于在醫學成像系統中進行分段的方法。一種醫學掃描儀掃描患者，提供表示該患者的第一成像數據。圖像處理器對以第一成像數據表示的對象進行分段。所述分段使用應用于第一成像數據的機器學習生成網絡。機器學習生成網絡是利用形狀空間中的優化來進行對抗訓練的。在顯示器上輸出基于分段的對象的圖像。

在一個實施例中，超聲掃描儀進行掃描。可以使用掃描儀的其他模態，諸如計算機斷層攝影系統或磁共振系統。

在各種實施例中，所述分段包括將所述機器學習生成網絡應用為圖像到圖像卷積深度學習網絡；所述機器學習生成網絡已經被訓練，其中所述形狀空間包括來自流形（manifold）或非監督學習的較低維度空間，諸如所述形狀空間是來自帶符號距離函數的主分量分析的特征矩陣；所述機器學習生成網絡已經被訓練，其中所述優化包括圖像空間中的第一損失和所述形狀空間中的第二損失；所述機器學習生成網絡被訓練成輸出距所述對象邊界的按像素或體素的帶符號距離；和/或所述機器學習生成網絡已經使用關于按體素或像素的距離的對抗損失用判別器來訓練。

在進一步的實施例中，根據由機器學習生成網絡輸出的距離函數來確定形狀空間的形狀參數。所述形狀參數用于基于與參數分布的比較來對所述對象進行分類；和/或基于與參數分布的比較來指示分段中的置信度。

在第二方面，提供了一種用于對象定位的系統。一種醫學掃描儀被配置為掃描患者，從而產生表示所述患者的圖像數據。圖像處理器被配置為利用機器學習圖像到圖像網絡來定位圖像數據中表示的對象。使用形狀先驗訓練機器學習圖像到圖像網絡。顯示器被配置為顯示作為所定位的對象的函數的圖像。

在一個實施例中，機器學習圖像到圖像網絡被配置為輸出距對象邊界的按像素或體素的距離，并且以該距離的對抗損失進行訓練。在另一實施例中，形狀先驗是特征值。機器學習圖像到圖像網絡是用平滑的L1損失對特征值訓練的。

在另一實施例中，使用圖像空間中的第一損失和形狀空間中的第二損失來訓練機器學習圖像到圖像網絡。

在又一實施例中，圖像處理器被配置成從圖像數據確定形狀參數，并使用形狀參數來輔助診斷。例如，形狀參數用于檢測對象的特性，以識別類似的情況，和/或識別對象的位置的置信度。