[發(fā)明專利]一種非平衡數(shù)據(jù)集下圖像模態(tài)轉(zhuǎn)換方法

在審

• 申請?zhí)枺?/td>: 202111361343.7
• 申請日: 2021-11-17
• 公開（公告）號: CN114049333A
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 樸昌浩;鄒偉;劉明杰;馬藝瑋;陳俊生;黃健;石均仁
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T11/00;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 李金蓉

本發(fā)明公開了一種非平衡數(shù)據(jù)集下圖像模態(tài)轉(zhuǎn)換方法，包括構(gòu)建數(shù)據(jù)集，構(gòu)建基于多尺度卷積核并行和稠密連接的MR成像GAN模型，將CT/MR圖像同時作為條件約束，提出相應(yīng)的目標(biāo)函數(shù)和約束條件，并進(jìn)行GAN模型訓(xùn)練，將CT圖像輸入訓(xùn)練好的GAN模型生成MR圖像。本發(fā)明可輸入適用性更廣、成像速度更快的CT圖像，輸出內(nèi)容和特征與輸入CT圖像對應(yīng)、診斷參考信息更豐富的MR圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能與醫(yī)療影像的交叉研究領(lǐng)域，具體涉及一種非平衡數(shù) 據(jù)集下圖像模態(tài)轉(zhuǎn)換方法。

背景技術(shù)

磁共振成像(Magnetic Resonance Imaging,MRI)技術(shù)是一項(xiàng)成熟的計(jì)算機(jī)輔 助醫(yī)療影像診斷技術(shù)。在無需注射造影劑的情況下，MRI可隨意做出包括橫斷、 矢狀、冠狀或任何角度的切層圖像，且獲得的圖像具有較高的軟組織對比度。 因此，MR圖像提供的疾病診斷信息量不但大于醫(yī)療影像學(xué)中的其他許多成像技 術(shù)，而且具有無創(chuàng)、無輻射、多對比度等特性，對疾病的診斷具有很大的優(yōu)越 性。然而，受限于物理(磁場強(qiáng)度等)和生理(神經(jīng)刺激等)等方面的因素， MRI并不適于所有人群。在磁共振機(jī)器及磁共振室內(nèi)存在著非常強(qiáng)大的磁場， 金屬會受磁場的吸引而移動，因此裝有心臟起搏器者，以及由于冠狀動脈、食道、前列腺、膽道和心血管手術(shù)后體內(nèi)留有金屬物品者絕對禁止MRI檢查，以 免產(chǎn)生嚴(yán)重后果以致危及患者生命。此外，MRI檢查費(fèi)用高、掃描時間長且需 在相對密閉的空間內(nèi)進(jìn)行，這也使得該項(xiàng)技術(shù)不適用于經(jīng)濟(jì)困難或患有急性病、 癲癇、神經(jīng)刺激癥和幽閉恐怖癥的病人。

在醫(yī)療影像應(yīng)用中，計(jì)算機(jī)斷層掃描(Computed Tomography,CT)更具有普適 性。與MRI一樣，CT成像也幾乎適用于全身各組織的病變檢查。此外，CT檢 查無需在密閉環(huán)境中進(jìn)行，且更加方便迅速，可在數(shù)分鐘內(nèi)完成，易為患者接 受。因此，CT成像的適用人群更加廣泛。

雖然MRI和CT都適用于全身各組織的病變檢查，但MRI對于多數(shù)疾病的 診斷更具參考性。若能利用CT成像，再將CT圖像轉(zhuǎn)換為診斷信息更豐富的 MR圖像，就達(dá)到了成像方便迅速且圖像診斷信息豐富的效果，可適當(dāng)解決MRI 不適于所有人群和成像速度慢的問題。因此，本發(fā)明提出一種非平衡數(shù)據(jù)集下 圖像模態(tài)轉(zhuǎn)換方法。能夠利用普適性更強(qiáng)、成像速度更快的CT圖像來模態(tài)轉(zhuǎn)換 成像內(nèi)容和特征與輸入CT圖像對應(yīng)、診斷參考信息更豐富的MR圖像。

發(fā)明內(nèi)容

本發(fā)明提出一種非平衡數(shù)據(jù)集下圖像模態(tài)轉(zhuǎn)換方法，可提高M(jìn)RI技 術(shù)的普適性和計(jì)算機(jī)輔助診斷效率。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是，一種非平衡數(shù)據(jù)集下 圖像模態(tài)轉(zhuǎn)換方法，包括以下步驟：

(1)構(gòu)建非平衡CT-MR數(shù)據(jù)集，其中包括非對應(yīng)CT-MR數(shù)據(jù)和對應(yīng)CT-MR 數(shù)據(jù)。

(2)將CT/MR圖像同時作為條件約束，構(gòu)建多條件約束GAN模型。

(3)采用多尺度卷積核并行與稠密連接的思想構(gòu)建多條件約束GAN模型 的網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)中的隱層特征損失優(yōu)化目標(biāo)函數(shù)，構(gòu)成醫(yī)療圖像模 態(tài)轉(zhuǎn)換GAN模型。

(4)利用非平衡CT-MR數(shù)據(jù)集進(jìn)行醫(yī)療圖像模態(tài)轉(zhuǎn)換GAN模型訓(xùn)練。

(5)將CT圖像輸入訓(xùn)練好的醫(yī)療圖像模態(tài)轉(zhuǎn)換GAN模型生成MR圖像。

本發(fā)明將CT/MR圖像同時作為約束，促使生成器生成逼近于真實(shí)MR 的圖像，采用多尺度卷積核并行和稠密連接網(wǎng)絡(luò)結(jié)構(gòu)有利于充分的利用網(wǎng)絡(luò)中 的每層特征以生成更加逼真的MR圖像。

附圖說明

圖1為非平衡CT-MR數(shù)據(jù)集下醫(yī)療圖像模態(tài)轉(zhuǎn)換方法框架圖；

圖2為非平衡CT-MR數(shù)據(jù)集樣本；

圖3為標(biāo)準(zhǔn)GAN和條件約束GAN架構(gòu)圖；

圖4為多尺度卷積核并行結(jié)構(gòu)；