[發(fā)明專利]用于圖像分割的方法和圖像分割設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811419143.0
• 申請(qǐng)日: 2018-11-26
• 公開（公告）號(hào): CN110009598B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 陳雨;李悅翔;鄭冶楓
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/11
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 劉靖龍;閆小龍

描述了一種用于圖像分割的方法，包括從數(shù)據(jù)集接收針對(duì)同一對(duì)象的多種模態(tài)的圖像數(shù)據(jù)；將所述多種模態(tài)的圖像數(shù)據(jù)輸入到經(jīng)訓(xùn)練的圖像分割網(wǎng)絡(luò)中，所述圖像分割網(wǎng)絡(luò)包括第一卷積神經(jīng)網(wǎng)絡(luò)，所述第一卷積神經(jīng)網(wǎng)絡(luò)包括多個(gè)第一編碼模塊和一個(gè)解碼模塊，所述多個(gè)第一編碼模塊與所述多種模態(tài)的圖像數(shù)據(jù)一一對(duì)應(yīng)并且每個(gè)第一編碼模塊接收所述多種模態(tài)的圖像數(shù)據(jù)中的一種；從每個(gè)第一編碼模塊輸出對(duì)應(yīng)模態(tài)的圖像數(shù)據(jù)的第一特征圖；將對(duì)應(yīng)所述多種模態(tài)的圖像數(shù)據(jù)的第一特征圖融合以產(chǎn)生融合特征圖；以及將融合特征圖輸入到第一卷積神經(jīng)網(wǎng)絡(luò)的解碼模塊以生成第一分割預(yù)測(cè)圖。

技術(shù)領(lǐng)域

本公開涉及圖像處理的領(lǐng)域，具體地涉及用于圖像分割的方法和設(shè)備。

背景技術(shù)

圖像分割被廣泛使用在各種技術(shù)領(lǐng)域中，例如被廣泛使用在醫(yī)學(xué)領(lǐng)域中。在目前的醫(yī)學(xué)領(lǐng)域中，例如，存在各種各樣的成像技術(shù)來輔助鑒定患者的特定身體部位的損傷區(qū)域。例如，腦部損傷由于其嚴(yán)重的危害性已成為當(dāng)今社會(huì)關(guān)注的焦點(diǎn)。核磁共振中的DWI（diffusion?weighted?imaging，彌散加權(quán)成像技術(shù)）模態(tài)的圖像數(shù)據(jù)有成像清晰、邊緣明顯等特點(diǎn)，在醫(yī)生標(biāo)注病人腦損傷區(qū)域時(shí)被廣泛使用。但是，醫(yī)生通常希望在用DWI模態(tài)數(shù)據(jù)進(jìn)行精確檢查之前使用采用其它成像方法成像的其它模態(tài)的圖像數(shù)據(jù)進(jìn)行初篩。然而，其他模態(tài)的圖像數(shù)據(jù)，例如針對(duì)腦部的CT（computed?tomography，計(jì)算機(jī)斷層掃描）圖像數(shù)據(jù)、以及使用造影劑的核磁共振中的CBV（cerebral?blood?volume，腦血流容量）圖像數(shù)據(jù),CBF（cerebral?blood?flow,腦血流流量）圖像數(shù)據(jù),MTT（mean?transit?time，對(duì)比劑平均通過時(shí)間）圖像數(shù)據(jù)、和腦血流達(dá)峰時(shí)間Tmax圖像數(shù)據(jù)等存在用肉眼標(biāo)注準(zhǔn)確率不夠，而且信息量較少的問題。

發(fā)明內(nèi)容

為此，本公開提供了用于圖像分割的方法和圖像分割設(shè)備，以便克服上述缺陷以及其它可能的缺陷。

根據(jù)本公開的一個(gè)方面，提供了一種用于圖像分割的計(jì)算機(jī)實(shí)施的方法，包括：從數(shù)據(jù)集接收針對(duì)同一對(duì)象的多種模態(tài)的圖像數(shù)據(jù)；將所述多種模態(tài)的圖像數(shù)據(jù)輸入到經(jīng)訓(xùn)練的圖像分割網(wǎng)絡(luò)中，所述圖像分割網(wǎng)絡(luò)包括第一卷積神經(jīng)網(wǎng)絡(luò)，所述第一卷積神經(jīng)網(wǎng)絡(luò)包括多個(gè)第一編碼模塊和一個(gè)第一解碼模塊，所述多個(gè)第一編碼模塊與所述多種模態(tài)的圖像數(shù)據(jù)一一對(duì)應(yīng)并且每個(gè)第一編碼模塊接收所述多種模態(tài)的圖像數(shù)據(jù)中的一種；從每個(gè)第一編碼模塊輸出對(duì)應(yīng)模態(tài)的圖像數(shù)據(jù)的第一特征圖；將來自所述多個(gè)第一編碼模塊的對(duì)應(yīng)所述多種模態(tài)的圖像數(shù)據(jù)的第一特征圖融合以產(chǎn)生融合特征圖；以及將融合特征圖輸入到第一卷積神經(jīng)網(wǎng)絡(luò)的第一解碼模塊以生成第一分割預(yù)測(cè)圖。

通過使用多個(gè)編碼模塊對(duì)各種模態(tài)的圖像數(shù)據(jù)進(jìn)行分別編碼，各個(gè)編碼模塊可以不共享參數(shù)，使得可以最大限度的保留不同模態(tài)的數(shù)據(jù)之間的獨(dú)立性，從而可以在編碼過程中獲得模態(tài)獨(dú)立的特征信息。通過在編碼結(jié)束后對(duì)多個(gè)編碼模塊輸出的特征進(jìn)行融合，可以挖掘不同模態(tài)之間的關(guān)聯(lián)性，使得即便在輸入的數(shù)據(jù)的信息量較少的情況下，也能夠通過設(shè)計(jì)有效的融合方式，最大程度地得到較精準(zhǔn)的分割預(yù)測(cè)圖。通過經(jīng)訓(xùn)練的圖像分割網(wǎng)絡(luò)，用戶可以在所述分割預(yù)測(cè)圖中得到期望的特定信息，因此所述分割預(yù)測(cè)圖可以例如在醫(yī)學(xué)領(lǐng)域中被用來提供重要的輔助診斷信息。