[發(fā)明專利]一種跨模態(tài)醫(yī)學圖像合成系統(tǒng)、方法及計算機設備

在審

• 申請?zhí)枺?/td>: 202211501334.8
• 申請日: 2022-11-28
• 公開（公告）號: CN115841591A
• 公開（公告）日: 2023-03-24
• 發(fā)明（設計）人: 賈富倉;孫彬
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06T5/50;G06N3/0464;G06T7/00;G06N3/08;G06T3/40
• 代理公司: 深圳市科進知識產(chǎn)權代理事務所(普通合伙) 44316
• 代理人: 劉建偉

本申請?zhí)峁┑目缒B(tài)醫(yī)學圖像合成系統(tǒng)、方法及計算機設備，包括：生成器和U型鑒別器，所述生成器用于將輸入的圖像合成為目標圖像，并將所述目標圖像輸入到所述U型鑒別器中，所述U型鑒別器用于判斷所述目標圖像的真?zhèn)危錾善鬟€用于通過訓練合成圖像企圖騙過所述U型鑒別器，所述U型鑒別器還用于通過訓練來以提高鑒別能力，本申請?zhí)岢隹缒B(tài)醫(yī)學圖像合成系統(tǒng)、方法及計算機設備，實現(xiàn)了全局特征和局部特征的提取，避免反卷積網(wǎng)絡造成的黑白偽影現(xiàn)象從而提高鑒別能力。

技術領域

本申請涉及圖像處理技術領域，特別涉及一種跨模態(tài)醫(yī)學圖像合成系統(tǒng)、方法及計算機設備。

背景技術

多模態(tài)醫(yī)學圖像分別顯示了相同器官的不同對比度的信息，這些信息能夠為疾病診斷提供多種補充信息，幫助醫(yī)生對疾病進行更好的診斷，臨床檢查中也常常需要同時獲取多種模態(tài)的醫(yī)學圖像，例如，臨床診斷中常會為腦部腫瘤獲取T1加權MR、T2加權MR和CT等多種模態(tài)的圖像。但是，為每位患者同時獲取多種模態(tài)的圖像需要昂貴的經(jīng)濟成本和時間成本。醫(yī)學中有各種不同的模態(tài)圖像，它們能給醫(yī)生提供不同的信息，包括結構的和功能的，選不同的模態(tài)即得到不同的信息。但是獲取不同的模態(tài)數(shù)據(jù)需要依靠不同的成像設備，如CT圖像需要依賴X射線，MRI圖像需要外部磁場，US需要超聲換能器。本發(fā)明就是為了實現(xiàn)避免硬件設備，從已獲得的某種模態(tài)來預測它對應的其他模態(tài)。這是因為在各個模態(tài)之間存在信息對應，如CT圖像和MRI，雖然它們是不同的模態(tài)，如它們都是針對同一個病人的腦部圖像，那么它們在形狀，大小和結構上是有對應的，兩者之間存在著潛在的非線性聯(lián)系。如果我們可以直接從已經(jīng)獲得的一種模態(tài)數(shù)據(jù)信息預測出另一種模態(tài)的數(shù)據(jù)信息，那我們就可以幫助病人避免經(jīng)歷兩次不同的成像掃描，一方面這大大提高了醫(yī)院中掃描機器的效率，并且也減少了病人的痛苦和可能遭受的輻射風險，另一方面也節(jié)省了病人的開銷，病人不需要承擔兩次的掃描費用。

放射治療對腦癌等惡性腫瘤的治療非常有效。然而，放射治療計劃需要拍攝患者病灶的CT圖像以計算放射劑量。同時，還需要對MR圖像對應的空間結構進行拍照，對腫瘤組織和健康器官進行分割。然而，在臨床應用中，獲取配對的MR-CT圖像通常具有挑戰(zhàn)性，例如：多次掃描增加了成本和輻射劑量并延遲了臨床工作流程。這不可避免地導致數(shù)據(jù)集不完整，并對臨床分析中的診斷和治療質(zhì)量產(chǎn)生不利影響。

因此，為解決數(shù)據(jù)不足的問題，跨模態(tài)醫(yī)學圖像合成得到了廣泛的普及，從患者角度來看，跨模態(tài)圖像意味著更少的掃描，更少的延遲，更低的劑量和更低的醫(yī)療費用。

目前已有大量的方法提出了多種跨模態(tài)醫(yī)學圖像轉換模型。現(xiàn)有的跨模態(tài)醫(yī)學圖像轉換模型可以大致分為基于特征匹配的跨模態(tài)圖像轉換算法和基于深度學習的跨模態(tài)圖像轉換算法。

目前最先進的方法是基于循環(huán)生成對抗網(wǎng)絡實現(xiàn)跨模態(tài)轉換。循環(huán)一致性的生成對抗網(wǎng)絡用于實現(xiàn)2D的MR-CT圖像轉換，該方法可以在沒有配對數(shù)據(jù)集的情況下進行訓練。Hiasa等人從CT圖像生成MR圖像，并考慮到反向生成的問題，在循環(huán)生成對抗網(wǎng)絡基礎上增加了梯度一致性損失以實現(xiàn)可靠性跨模態(tài)合成。隨后，Zhu等人發(fā)現(xiàn)使用循環(huán)一致性無法減輕圖像估計中的幾何損失，因此，他們還建議使用從兩個生成器網(wǎng)絡獲得的形狀一致性損失。但是，循環(huán)生成對抗網(wǎng)絡生成的2D切片效果很好，當這些2D切片重新構建一個3D圖像時，可以明顯觀察到空間不一致。

一些人試圖開發(fā)用于圖像轉換的3D循環(huán)生成對抗網(wǎng)絡，據(jù)我們所知，Wang等人首先通過使用3D卷積和轉置卷積將循環(huán)生成對抗網(wǎng)絡從2D擴展到3D，以實現(xiàn)低劑量PET圖像的高質(zhì)量PET圖像估計。但由于大量參數(shù)和大量計算，三維模型的訓練往往不穩(wěn)定。為了解決二維模型在圖像合成中的局限性，提出了三維網(wǎng)絡。然而，由于特征分布的差異以及目標函數(shù)沒有根據(jù)3D特征進行具體修改，3D循環(huán)生成對抗網(wǎng)絡在訓練3D圖像時有時無法收斂。Euijin Jung等人使用2D生成器生成3D醫(yī)學圖像，但他們使用3D鑒別器，該鑒別器也依賴于3D卷積。