[發(fā)明專利]具有結構化的圖像分解的3D醫(yī)學圖像中的可操縱對象合成

在審

• 申請?zhí)枺?/td>: 202010952660.5
• 申請日: 2020-09-11
• 公開（公告）號: CN112508842A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 劉思奇;E·吉布森;S·格爾比奇;徐宙冰;A·A·阿迪約索;B·喬治斯庫;D·科馬尼丘
• 申請（專利權）人: 西門子醫(yī)療有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T5/50;G06K9/62;G16H30/40
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 徐紅燕;陳嵐

本發(fā)明涉及具有結構化的圖像分解的3D醫(yī)學圖像中的可操縱對象合成。提供了用于生成合成圖像的系統(tǒng)和方法。接收輸入醫(yī)學圖像補塊、分割掩碼、外觀相關參數(shù)的向量以及可操縱的屬性。使用經(jīng)訓練的對象合成網(wǎng)絡，基于輸入醫(yī)學圖像補塊、分割掩碼、外觀相關參數(shù)的向量以及可操縱的屬性，生成包括合成結節(jié)的合成的醫(yī)學圖像補塊。合成的結節(jié)根據(jù)可操縱的屬性被合成。輸出合成的醫(yī)學圖像補塊。

技術領域

本發(fā)明通常涉及具有結構化的圖像分解的3D醫(yī)學圖像中的可操縱對象合成，并且更具體地涉及具有結構化的圖像分解的肺結節(jié)合成，用于罕見樣品擴增。

背景技術

用于執(zhí)行醫(yī)學圖像分析任務的深度學習網(wǎng)絡的性能受到可用的高質量帶注釋圖像的數(shù)量的限制。此類高質量帶注釋圖像的大規(guī)模數(shù)據(jù)集對于深度學習網(wǎng)絡的訓練和測試來說是重要的，以便減少在監(jiān)督學習中訓練網(wǎng)絡的變化，而且提供在部署后它們長期性能的可靠評估。但是，大多數(shù)醫(yī)學圖像數(shù)據(jù)集的規(guī)模僅是從少數(shù)幾個臨床成像站點獲取的成百到上千個患者。另外，為醫(yī)學診斷應用而訓練的網(wǎng)絡通常需要具有經(jīng)過多年醫(yī)學訓練的注釋者注釋的醫(yī)學圖像，這使得這種醫(yī)學圖像的注釋既費時又經(jīng)濟上昂貴。此外，此類醫(yī)學圖像的分布高度偏向于僅占全球人口的一小部分，并且罕見的異常情況在訓練數(shù)據(jù)集中的樣本可能太少，從而不能很好地推廣用于部署。

常規(guī)地，已經(jīng)提出對抗圖像合成以用于擴增圖像數(shù)據(jù)集以用于訓練和測試網(wǎng)絡以執(zhí)行醫(yī)學圖像分析任務。但是，這樣的常規(guī)方法不能操縱合成對象的屬性（例如，形狀、大小、強度）。

發(fā)明內容

根據(jù)一個或多個實施例，提供了用于生成合成圖像的系統(tǒng)和方法。接收輸入醫(yī)學圖像補塊、分割掩碼、外觀相關參數(shù)的向量以及可操縱的屬性。使用經(jīng)訓練的對象合成網(wǎng)絡，基于輸入醫(yī)學圖像補塊、分割掩碼、外觀相關參數(shù)的向量以及可操縱的屬性，生成包括合成結節(jié)的合成的醫(yī)學圖像補塊。合成的結節(jié)根據(jù)可操縱的屬性被合成。輸出合成的醫(yī)學圖像補塊。

在一個實施例中，可操縱的屬性包括基于結節(jié)強度的標記，以將合成結節(jié)的外觀定義為固體、部分固體、毛玻璃不透明、完全鈣化或部分鈣化和/或基于紋理和邊界的標記以定義合成結節(jié)的外觀為有針刺的或無針刺的。在一個實施例中，可以通過將表示可操縱的屬性的向量與外觀相關參數(shù)的向量級聯(lián)來生成合成醫(yī)學圖像補塊。在一個實施例中，通過定義高斯過程可變形模型的特征向量，使用高斯過程可變形模型將分割掩碼生成為具有大小和形狀，并且根據(jù)分割掩碼的大小和形狀，將合成結節(jié)合成為具有大小和形狀。

在一個實施例中，經(jīng)訓練的對象合成網(wǎng)絡包括重構網(wǎng)絡和細化網(wǎng)絡。通過以下對經(jīng)訓練的對象合成網(wǎng)絡進行訓練：訓練1）分解網(wǎng)絡以將包括結節(jié)的特定圖像補塊分解為特定的分割掩碼和外觀相關參數(shù)的特定向量，以及2）重構網(wǎng)絡和細化網(wǎng)絡以基于特定分割掩碼和外觀相關參數(shù)的特定向量重構特定圖像補塊，以及使用經(jīng)訓練的重構網(wǎng)絡基于隨機分割掩碼和外觀相關參數(shù)的隨機向量對細化網(wǎng)絡進行細化。使用應用于特定圖像補塊中的圍繞結節(jié)的區(qū)域的局部鑒別器和應用于特定圖像補塊中的較大區(qū)域的上下文鑒別器，可以以對抗性損失對細化網(wǎng)絡進行細化。

在一個實施例中，訓練強化學習代理以確定可操縱的屬性。可以使用強化學習代理來確定可操縱的屬性。檢測器或分類器可以應用于檢測或分類合成的醫(yī)學圖像補塊。如果檢測器或分類器能夠檢測或分類合成的醫(yī)學圖像補塊，則強化學習代理將受到懲罰，以及如果檢測器或分類器不能檢測或分類合成的醫(yī)學圖像補塊，則強化學習代理將受到獎勵。

在一個實施例中，可以訓練機器學習網(wǎng)絡以基于合成的醫(yī)學圖像補塊檢測或分割目標醫(yī)學圖像補塊中的結節(jié)。

通過參考以下詳細描述和附圖，本發(fā)明的這些和其他優(yōu)點對于本領域普通技術人員將是顯而易見的。

附圖說明

圖1示出了圖像合成問題的高級表達方式；

圖2示出了用于訓練對象合成網(wǎng)絡的高級框架；

圖3示出了用于分解結節(jié)補塊中的肺結節(jié)的高級框架；

圖4示出了用于訓練對象合成網(wǎng)絡的方法；