[發(fā)明專利]一種三維醫(yī)學(xué)圖像超分辨率重建方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011546695.5
• 申請(qǐng)日: 2020-12-24
• 公開（公告）號(hào): CN112669209B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設(shè)計(jì)）人: 侯文廣;張思源;董靜嫻;余勤;王毅凡
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T17/00;G16H30/20
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 胡秋萍;李智

本發(fā)明公開了一種三維醫(yī)學(xué)圖像超分辨率重建方法和系統(tǒng)，屬于醫(yī)學(xué)圖像處理領(lǐng)域。本發(fā)明將三維超分辨率問題分解為單張切片超分辨率重建及相鄰切片間內(nèi)容相關(guān)性兩個(gè)問題的組合，通過多通道二維卷積神經(jīng)網(wǎng)絡(luò)對(duì)三維醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行超分辨率重建，多通道網(wǎng)絡(luò)結(jié)構(gòu)充分考慮了相鄰切片的高相關(guān)性。圖像超分辨率重建部分的參數(shù)通過大量二維高分辨率醫(yī)學(xué)圖像進(jìn)行訓(xùn)練，之后凍結(jié)重建部分參數(shù)，利用少量三維數(shù)據(jù)訓(xùn)練多通道輸出層的權(quán)重參數(shù)。由于多通道網(wǎng)絡(luò)僅需訓(xùn)練新輸出層的序列圖像的權(quán)重等參數(shù)，這樣僅需要少量的三維高分辨率圖像即可完成網(wǎng)絡(luò)訓(xùn)練。本質(zhì)上為二維網(wǎng)絡(luò)，相比于三維網(wǎng)絡(luò)，需要的三維數(shù)據(jù)大大減少，訓(xùn)練難度也大大降低。

技術(shù)領(lǐng)域

本發(fā)明屬于醫(yī)學(xué)圖像處理領(lǐng)域，更具體地，涉及一種三維醫(yī)學(xué)圖像超分辨率重建方法和系統(tǒng)。

背景技術(shù)

三維醫(yī)學(xué)圖像超分辨率重建是醫(yī)學(xué)圖像處理中的重要內(nèi)容。三維醫(yī)學(xué)圖像目前在臨床中廣泛存在，其通常的成像采集方式是斷層成像，如CT、UCT等。但對(duì)于三維斷層成像而言，三維圖像掃描層間距一般都明顯大于層內(nèi)相鄰像素的間隔，即掃描層間的分辨率明顯低于掃描層內(nèi)圖像分辨率，而且由于人體運(yùn)動(dòng)和機(jī)械誤差，掃描切片層與層之間也往往會(huì)出現(xiàn)錯(cuò)位現(xiàn)象，于是非掃描面中，圖像會(huì)出現(xiàn)鋸齒狀且兩個(gè)方向的圖像分辨率不一致。

三維醫(yī)學(xué)圖像超分辨率重建就是改善非掃面圖像分辨率，改善三維斷層醫(yī)學(xué)圖像體數(shù)據(jù)中分辨率各向異性。傳統(tǒng)的超分辨率重建方法是采用圖像插值，線性插值的方式導(dǎo)致圖像細(xì)節(jié)信息丟失嚴(yán)重，而圖像自適應(yīng)的插值算法計(jì)算量大，效率低，改善圖像質(zhì)量能力有限；利用圖像配準(zhǔn)來改善掃描層之間的錯(cuò)位問題也存在效率低，效果不明顯等問題。

基于學(xué)習(xí)的超分辨率是當(dāng)前研究的熱點(diǎn)。其中傳統(tǒng)的二維卷積網(wǎng)絡(luò)能一定程度改善圖像自身的質(zhì)量，但通常無法改善錯(cuò)位現(xiàn)象，保證更好的空間連續(xù)性，VDSR、EDSR等算法在應(yīng)用于三維重建時(shí)不能很好的考慮三維數(shù)據(jù)體的空間位置關(guān)系；三維神經(jīng)網(wǎng)絡(luò)雖然有足夠的超分辨率精度，如DDSR、ReCNN均是通過三維卷積核進(jìn)行特征提取，但三維卷積網(wǎng)絡(luò)存在數(shù)據(jù)不足、訓(xùn)練開銷大、效率低等問題，因此三維卷積網(wǎng)絡(luò)在應(yīng)用中有很大的限制。并且對(duì)于醫(yī)學(xué)圖像處理領(lǐng)域來說，臨床中高分辨率三維醫(yī)學(xué)圖像獲取較困難。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的缺陷和改進(jìn)需求，本發(fā)明提供了一種三維醫(yī)學(xué)圖像超分辨率重建方法和系統(tǒng)，其目的在于考慮三維斷層掃描圖像非掃描切面的幾何特性，處理二維高分辨率訓(xùn)練樣本，通過遷移學(xué)習(xí)，利用二維訓(xùn)練樣本模擬三維斷層切面，極大減少三維訓(xùn)練樣本的數(shù)目；構(gòu)建多通道二維網(wǎng)絡(luò)，充分考慮三維圖像數(shù)據(jù)模型中連續(xù)切片高度相關(guān)的因素，使算法適用于三維醫(yī)學(xué)圖像的同時(shí)降低其訓(xùn)練開銷，同時(shí)具備較好的重建效果及魯棒性。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的第一方面，提供了一種三維醫(yī)學(xué)圖像超分辨率重建方法，該方法包括：

訓(xùn)練階段：

S1.對(duì)不同尺寸大小且相互之間無連續(xù)性的高分辨率二維醫(yī)學(xué)圖像進(jìn)行隨機(jī)行抽取，使其具備與三維醫(yī)學(xué)圖像非掃描面相似的斷層特征，再進(jìn)行插值生成與原始圖像尺寸相同的低分辨率二維醫(yī)學(xué)圖像，將高分辨率三維醫(yī)學(xué)圖像經(jīng)過隨機(jī)掃描面抽取、插值得到低分辨率三維醫(yī)學(xué)圖像，并將其沿冠狀面方向分割成連續(xù)二維圖像切片序列；

S2.訓(xùn)練二維單通道重建網(wǎng)絡(luò)，訓(xùn)練樣本為低分辨率二維醫(yī)學(xué)圖像，標(biāo)簽為對(duì)應(yīng)高分辨率二維醫(yī)學(xué)圖像；

S3.對(duì)訓(xùn)練好的二維單通道重建網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)遷移，改變輸入層使得網(wǎng)絡(luò)每次能夠輸入N張連續(xù)的二維醫(yī)學(xué)圖像，并添加一個(gè)新輸出層對(duì)經(jīng)過重建后輸出的N個(gè)結(jié)果進(jìn)行加權(quán)求和，生成二維多通道網(wǎng)絡(luò)，N為奇數(shù)；

S4.凍結(jié)網(wǎng)絡(luò)主體部分的訓(xùn)練參數(shù)，僅訓(xùn)練二維多通道網(wǎng)絡(luò)輸出層參數(shù)，訓(xùn)練樣本為沿冠狀面方向分割出的連續(xù)二維圖像切片序列，標(biāo)簽為原始三維圖像沿冠狀面分解出的二維切面；

其中，二維多通道網(wǎng)絡(luò)訓(xùn)練樣本數(shù)目遠(yuǎn)少于二維單通道重建網(wǎng)絡(luò)訓(xùn)練樣本數(shù)目；

應(yīng)用階段：