[發(fā)明專利]多模態(tài)醫(yī)學圖像分割方法、系統(tǒng)、存儲介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010112491.4
• 申請日: 2020-02-24
• 公開（公告）號: CN111353499B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 錢曉華;李鈞
• 申請（專利權(quán)）人: 上海交通大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06K9/62;G06T7/00
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 陳珊珊

本發(fā)明提供多模態(tài)醫(yī)學圖像分割方法、系統(tǒng)、存儲介質(zhì)及電子設(shè)備。所述多模態(tài)醫(yī)學圖像分割方法包括：構(gòu)建共享特征編碼器及平行解碼器網(wǎng)絡(luò)；將不同模態(tài)的醫(yī)學圖像數(shù)據(jù)輸入所述共享特征編碼器，由所述共享特征編碼器提取各所述模態(tài)之間的相似解剖結(jié)構(gòu)特征；將所述共享特征編碼器輸出的各所述模態(tài)的相似解剖結(jié)構(gòu)特征一一對應(yīng)地輸入所述平行解碼器網(wǎng)絡(luò)中的各解碼器，由各所述解碼器分別在各所述模態(tài)的相似解剖結(jié)構(gòu)特征的基礎(chǔ)上突出各所述模態(tài)的特異性，從而輸出各所述模態(tài)的醫(yī)學圖像數(shù)據(jù)的分割結(jié)果。本發(fā)明有效提高了多模態(tài)醫(yī)學圖像分割任務(wù)中的多模態(tài)融合效率，同時避免了分割過程中的特征共適應(yīng)干擾。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)學圖像分割領(lǐng)域，特別涉及多模態(tài)醫(yī)學圖像分割方法、系統(tǒng)、存儲介質(zhì)及 電子設(shè)備。

背景技術(shù)

醫(yī)學圖像的自動分割是由圖像處理到圖像分析的關(guān)鍵步驟，對于臨床診斷和治療具有非 常重要的作用。而多模態(tài)磁共振成像(MRI)相較于單模態(tài)數(shù)據(jù)可以提供更多的信息，在神 經(jīng)影像學研究中經(jīng)常組合使用不同模態(tài)MRI來克服單模態(tài)影像技術(shù)的局限性。因此，如何融 合多模態(tài)MRI信息來提高自動分割的表現(xiàn)對于臨床診斷與治療很有意義。

目前，整合多模態(tài)信息的方法已在其他領(lǐng)域得到了廣泛研究，當前的多模態(tài)融合方法大 致可以分為early fusion，late fusion和intermediate fusion。

early fusion可以融合來自低層特征原始空間的多模態(tài)信息，即在輸入網(wǎng)絡(luò)訓練前就已經(jīng) 完成了多模態(tài)數(shù)據(jù)的融合。例如Nie等人在文獻“3-D Fully ConvolutionalNetworks for Multimodal Isointense Infant Brain Image Segmentation”(IEEETransactions on Cybernetics，2019， vol.49,no.3,pp.1123–1136.)提出的直接輸入不同模態(tài)的數(shù)據(jù)進行融合的方法，和Chen等 人在文獻“VoxResNet:Deep voxelwiseresidual networks for brain segmentation from 3D MR images”(Neuroimage，2018，vol.170,no.April 2017,pp.446–455.)中提出的將多模態(tài)數(shù) 據(jù)進行合并以在通道維度上完成隱式的融合的方法。但上述early fusion方法由于整個訓練過 程中的數(shù)據(jù)都是來自融合后的，導致后續(xù)模型的訓練中模態(tài)間依賴性過大，從而導致特征共 適應(yīng)造成干擾，阻礙融合效率的進一步提高。特征共適應(yīng)會增加模態(tài)間特征的相互依賴性， 弱化了各模態(tài)特征對各自分割結(jié)果的貢獻，這使得各模態(tài)的分割結(jié)果會向其他模態(tài)傾斜造成 表現(xiàn)不佳。

對于late fusion，Alqazzaz等人和Shivhare等人分別在文獻“Automated braintumor segmentation on multi-modal MR image using SegNet”(Computational VisualMedia，2019，vol. 5,no.2,pp.209–219)和文獻“A hybrid of active contour model andconvex hull for automated brain tumor segmentation in multimodal MRI”(Multimedia Tools and Applications，2019，pp. 34207–34229)中提出利用后處理的方式進行l(wèi)ate fusion。Alqazzaz等人將四個單獨訓練的模 型進行集成來融合每個模型最后輸出的特征圖，然后使用這個特征圖來完成最后的分割。 Shivhare等人則直接通過形態(tài)學方式合并不同模態(tài)的分割結(jié)果得到最終的分割區(qū)域。上述兩 種方法都融合了不同模態(tài)數(shù)據(jù)的全部高級特征，會引入大量的冗余信息，影響最終的分割結(jié) 果，導致融合效率不高。