[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的無監(jiān)督血管內(nèi)超聲圖像配準(zhǔn)方法

在審

• 申請?zhí)枺?/td>: 202010975102.0
• 申請日: 2020-09-16
• 公開（公告）號: CN112150425A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 汪友生;劉繼榮
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/30
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)的無監(jiān)督血管內(nèi)超聲圖像配準(zhǔn)方法，屬于醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域。針對傳統(tǒng)配準(zhǔn)方法迭代優(yōu)化配準(zhǔn)時(shí)間長的缺點(diǎn)，引入深度學(xué)習(xí)把迭代時(shí)間轉(zhuǎn)移到網(wǎng)絡(luò)模型訓(xùn)練時(shí)間中去，本發(fā)明使用類U?net網(wǎng)絡(luò)結(jié)構(gòu)，用步長卷積代替池化層進(jìn)行下采樣，保留更多配準(zhǔn)需要的空間位置特征。針對常見深度學(xué)習(xí)方法對于IVUS圖像配準(zhǔn)精度較低問題，本發(fā)明繼續(xù)在網(wǎng)絡(luò)結(jié)構(gòu)引入注意力機(jī)制，這一改進(jìn)使得配準(zhǔn)網(wǎng)絡(luò)模型在訓(xùn)練過程中能更好聚焦于待配準(zhǔn)圖像之間形態(tài)差異較大的地方，有效提高血管內(nèi)超聲圖像配準(zhǔn)精度。最終本發(fā)明配準(zhǔn)精度和最先進(jìn)傳統(tǒng)配準(zhǔn)方法不相上下，而配準(zhǔn)用時(shí)大大減少。

技術(shù)領(lǐng)域

本發(fā)明屬于醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域，特別涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像配準(zhǔn)方法。

背景技術(shù)

醫(yī)學(xué)圖像配準(zhǔn)，是指對一組圖像數(shù)據(jù)集中的兩幅圖像，通過尋找一種空間變換把一幅圖像(移動圖像)映射到另一幅圖像(固定圖像)，使得兩圖上的對應(yīng)點(diǎn)達(dá)到空間上的一致。針對血管內(nèi)超聲(IVUS)圖像，配準(zhǔn)技術(shù)可以用來計(jì)算血管壁變形分析血管彈性，進(jìn)而研究易損斑塊的早期發(fā)現(xiàn)以及斑塊破裂的風(fēng)險(xiǎn)，為預(yù)防和治療心血管疾病提供重要依據(jù)，對引導(dǎo)介入性手術(shù)及手術(shù)支架的置入情況監(jiān)測都有重要的意義。

傳統(tǒng)的圖像配準(zhǔn)方法是一個(gè)迭代優(yōu)化的過程，其基本思想是先定義一個(gè)相似性指標(biāo)，通過對參數(shù)化轉(zhuǎn)換或非參數(shù)化轉(zhuǎn)換進(jìn)行不斷迭代優(yōu)化，使得配準(zhǔn)后的移動圖像與固定圖像相似性最高。傳統(tǒng)的配準(zhǔn)方法主要分為基于特征的配準(zhǔn)方法和基于灰度的配準(zhǔn)方法。(1)基于特征的配準(zhǔn)方法，其基本思想是先提取圖像的特征(點(diǎn)、邊緣、區(qū)域等)，再生成相應(yīng)特征描述子，最后根據(jù)描述子的相似程度對兩幅圖像的特征進(jìn)行匹配，典型的算法有SIFT方法等。這種方法對于特征不明顯的圖像有很大局限性。(2)基于灰度的配準(zhǔn)方法，其基本思想是直接利用兩幅圖像之間灰度度量的相似性，以圖像內(nèi)部信息為依據(jù)，采用搜索方法尋找相似度最大或者最小點(diǎn)，確定參考圖像和待配準(zhǔn)圖像之間的變換參數(shù)，典型的算法有互相關(guān)法、互信息法等。這種方法實(shí)現(xiàn)簡單，不需要對圖像進(jìn)行復(fù)雜的預(yù)處理，可以對小形變圖像進(jìn)行高精度的配準(zhǔn)，但缺點(diǎn)是計(jì)算的復(fù)雜度較高，配準(zhǔn)時(shí)間較長。由于傳統(tǒng)的配準(zhǔn)方法大都是采用迭代優(yōu)化的方式搜尋最優(yōu)參數(shù)的，這導(dǎo)致其處理速度相當(dāng)慢，很難應(yīng)用在實(shí)時(shí)化場景中。

為了解決傳統(tǒng)圖像配準(zhǔn)方法迭代時(shí)間長的問題，將深度學(xué)習(xí)應(yīng)用于圖像配準(zhǔn)領(lǐng)域，深度學(xué)習(xí)可以把迭代時(shí)間轉(zhuǎn)移到網(wǎng)絡(luò)模型訓(xùn)練時(shí)間中去，大大縮減實(shí)際的配準(zhǔn)用時(shí)。深度學(xué)習(xí)的配準(zhǔn)方法主要分為基于深度迭代的配準(zhǔn)方法、基于監(jiān)督學(xué)習(xí)或部分監(jiān)督的方法和基于無監(jiān)督學(xué)習(xí)的方法。(1)基于深度迭代的配準(zhǔn)方法，其基本思想是在傳統(tǒng)配準(zhǔn)方法中嵌入了神經(jīng)網(wǎng)絡(luò)用來學(xué)習(xí)特征或者學(xué)習(xí)相似性測度。這種方法最大的缺點(diǎn)就是只利用深度學(xué)習(xí)進(jìn)行特征學(xué)習(xí)或相似性度量，仍用傳統(tǒng)配準(zhǔn)方法進(jìn)行迭代優(yōu)化，沒有充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢，根本上沒有解決配準(zhǔn)花費(fèi)時(shí)間長的問題。(2)基于監(jiān)督學(xué)習(xí)或部分監(jiān)督的方法，其基本思想是基于金標(biāo)準(zhǔn)通過神經(jīng)網(wǎng)絡(luò)來回歸變換參數(shù)，相應(yīng)的金標(biāo)準(zhǔn)就是真實(shí)的變換參數(shù)。這種方法最大的問題在于配準(zhǔn)質(zhì)量對金標(biāo)準(zhǔn)的依賴大，而金標(biāo)準(zhǔn)又依賴于制作者的專業(yè)程度，此外大量數(shù)據(jù)金標(biāo)準(zhǔn)的獲取也是一個(gè)難題。(3)基于無監(jiān)督學(xué)習(xí)的方法，其基本思想是通過神經(jīng)網(wǎng)絡(luò)生成位移矢量場，然后通過空間變化網(wǎng)絡(luò)(STN)生成配準(zhǔn)后的圖像，目標(biāo)函數(shù)為配準(zhǔn)后圖像與固定圖像的灰度相似性測度和變形場的平滑正則項(xiàng)。典型的算法有DIRNet、BIRNet、voxelmorph等。盡管這種配準(zhǔn)方法在MRI圖像及CT圖像配準(zhǔn)方面取得較大進(jìn)步，但對于IVUS圖像配準(zhǔn)仍存在配準(zhǔn)精度相對較低的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是針對血管內(nèi)超聲圖像提供一種更高效的無監(jiān)督配準(zhǔn)方法。在類U-net網(wǎng)絡(luò)結(jié)構(gòu)中，用步長卷積代替池化層進(jìn)行下采樣，保留更多配準(zhǔn)需要的空間位置特征，并在網(wǎng)絡(luò)結(jié)構(gòu)引入注意力機(jī)制，這一改進(jìn)使得神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中能更好聚焦于待配準(zhǔn)圖像之間形態(tài)差異較大的地方，有效提高配準(zhǔn)精度。

本發(fā)明的特征如下：

步驟1，從互聯(lián)網(wǎng)獲取醫(yī)學(xué)圖像序列，本文使用的是血管內(nèi)超聲(IVUS)圖像；