[發(fā)明專利]使用聯(lián)合深度學(xué)習(xí)模型進(jìn)行圖像分割的系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201780074980.1
• 申請(qǐng)日: 2017-12-14
• 公開（公告）號(hào): CN110036409B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 哈里哈蘭·瑞維享卡;維韋卡·普拉巴卡爾·維迪雅;謝沙迪·史魯文亞當(dāng);拉胡爾·文卡塔拉馬尼;普拉撒度·蘇達(dá)卡爾
• 申請(qǐng)（專利權(quán)）人: 通用電氣公司
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06N3/0464
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 侯穎媖;錢慰民

本發(fā)明提供了一種用于圖像分割的方法，該方法包括接收輸入圖像(102)。該方法還包括獲得具有三元組預(yù)測(cè)器(116,118,120)的深度學(xué)習(xí)模型(104)。此外，該方法包括通過三元組預(yù)測(cè)器((116,118,120)中的形狀模型來處理輸入圖像，以生成分割形狀圖像(110)。此外，該方法包括經(jīng)由顯示單元(128)呈現(xiàn)分割形狀圖像。

背景技術(shù)

本說明書的實(shí)施方案整體涉及醫(yī)學(xué)圖像的上下文分割，并且更具體地涉及用于使用用于醫(yī)學(xué)圖像的上下文分割的生成模型來聯(lián)合深度學(xué)習(xí)前景、背景和形狀的系統(tǒng)和方法。

醫(yī)學(xué)圖像/體積的分割或?qū)ο竺枥L是后續(xù)定量任務(wù)的基本步驟，而定量任務(wù)是醫(yī)學(xué)診斷的關(guān)鍵促成因素。一般來講，圖像分割需要檢測(cè)、粗略分割和更精細(xì)細(xì)節(jié)的分割。通常，來自醫(yī)學(xué)圖像的分割或?qū)ο竺枥L中的一些挑戰(zhàn)包括圖像諸如超聲圖像、正電子發(fā)射斷層攝影(PET)圖像等中固有的噪聲，成像模態(tài)固有的不同對(duì)比度，X射線、磁共振(MR)和超聲圖像的多模態(tài)強(qiáng)度變化，以及圖像內(nèi)的復(fù)雜形狀。傳統(tǒng)技術(shù)通常要求檢測(cè)圖像中的對(duì)象，然后進(jìn)行精確分割。

此外，傳統(tǒng)分割方法采用幾何先驗(yàn)、前景/背景強(qiáng)度模型和形狀先驗(yàn)。傳統(tǒng)方法遇到的一些挑戰(zhàn)包括分割任務(wù)的初始化、復(fù)雜紋理和/或形狀的建模、超參數(shù)調(diào)整和計(jì)算定時(shí)。已經(jīng)使用被配置為學(xué)習(xí)復(fù)雜前景/背景強(qiáng)度的機(jī)器學(xué)習(xí)方法來規(guī)避這些挑戰(zhàn)中的一些。而且，其他方法包括使用基于訓(xùn)練數(shù)據(jù)開發(fā)的形狀模型。然后，將機(jī)器學(xué)習(xí)方法和基于形狀模型的方法插入到標(biāo)準(zhǔn)分割框架中。

最近基于完全卷積網(wǎng)絡(luò)(FCN)的方法為通過學(xué)習(xí)上下文和形狀與紋理之間的交互(例如U-Net)實(shí)現(xiàn)的對(duì)象的端到端檢測(cè)和分割提供了單一框架。此外，考慮到適當(dāng)?shù)挠?xùn)練數(shù)據(jù)，基于FCN的方法也擴(kuò)展到不同問題的普遍性。然而，完全卷積網(wǎng)絡(luò)(FCN)需要大量代表性訓(xùn)練數(shù)據(jù)來促進(jìn)多個(gè)實(shí)體的學(xué)習(xí)，諸如這些實(shí)體的前景、背景、形狀和上下文交互。訓(xùn)練數(shù)據(jù)有限或不足時(shí)，難以解釋故障。此外，手動(dòng)選擇數(shù)據(jù)以提高性能可能是有問題的。

發(fā)明內(nèi)容

根據(jù)本說明書的一個(gè)方面，公開了方法。該方法包括接收輸入圖像。此外，該方法包括獲得具有三元組預(yù)測(cè)器的深度學(xué)習(xí)。該方法還包括通過三元組預(yù)測(cè)器中的形狀模型來處理輸入圖像，以生成分割形狀圖像。此外，該方法包括經(jīng)由顯示單元呈現(xiàn)分割形狀圖像。

根據(jù)本說明書的另一方面，公開了系統(tǒng)。該系統(tǒng)包括被配置為采集輸入圖像的圖像采集單元。此外，該系統(tǒng)包括深度學(xué)習(xí)單元，該深度學(xué)習(xí)單元包括深度學(xué)習(xí)模型，其中深度學(xué)習(xí)模型包括三元組預(yù)測(cè)器。該深度學(xué)習(xí)單元被配置為通過三元組預(yù)測(cè)器中的形狀模型來處理輸入圖像，以生成分割形狀圖像。此外，該系統(tǒng)包括處理器單元，該處理器單元通信地耦接到深度學(xué)習(xí)單元并且被配置為經(jīng)由顯示單元呈現(xiàn)分割形狀圖像。

附圖說明

當(dāng)參考附圖閱讀以下詳細(xì)描述時(shí)，本說明書的實(shí)施方案的這些和其他特征和方面將變得更好理解，附圖中相同的字符在整個(gè)附圖中表示相同的部分，其中：

圖1是示出根據(jù)本說明書的各方面的使用聯(lián)合深度學(xué)習(xí)模型進(jìn)行圖像分割的系統(tǒng)的框圖；

圖2(a)是根據(jù)本說明書的各方面供應(yīng)至圖1的深度學(xué)習(xí)模型的輸入圖像；

圖2(b)至2(d)是根據(jù)本說明書的各方面，在通過圖1的深度學(xué)習(xí)模型處理圖2(a)的輸入圖像之后生成的三通道輸出圖像；

圖3(a)至3(c)是示出根據(jù)本說明書的各方面，在從輸入圖像分割形狀邊界時(shí)，圖1的深度學(xué)習(xí)模型的性能與現(xiàn)存完全卷積網(wǎng)絡(luò)的性能的比較的圖像；

圖4(a)至4(c)是示出根據(jù)本說明書的各方面，在從輸入圖像分割胎兒腹部區(qū)域時(shí)，圖1的深度學(xué)習(xí)模型的性能與現(xiàn)存完全卷積網(wǎng)絡(luò)的性能的比較的圖像；

圖5(a)至5(c)是示出根據(jù)本說明書的各方面，在從輸入圖像分割腹部區(qū)域時(shí)，圖1的深度學(xué)習(xí)模型的性能與現(xiàn)存完全卷積網(wǎng)絡(luò)的性能的比較的圖像；