[發(fā)明專(zhuān)利]一種基于多尺度和注意力的醫(yī)學(xué)圖像分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111504413.X
• 申請(qǐng)日: 2021-12-10
• 公開(kāi)（公告）號(hào): CN114359292A
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 鄒艷妮;王澤坤;劉小平;吳德道
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南昌大學(xué)
• 主分類(lèi)號(hào): G06T7/10
• 分類(lèi)號(hào): G06T7/10;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京眾合誠(chéng)成知識(shí)產(chǎn)權(quán)代理有限公司 11246
• 代理人: 王煥巧

本發(fā)明公開(kāi)了一種基于多尺度和注意力的醫(yī)學(xué)圖像分割方法，包括下列步驟：首先對(duì)獲取到的醫(yī)學(xué)圖像進(jìn)行處理，并劃分?jǐn)?shù)據(jù)集，之后構(gòu)建二維網(wǎng)絡(luò)模型，將經(jīng)過(guò)預(yù)處理的數(shù)據(jù)送入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；通過(guò)優(yōu)化損失函數(shù)調(diào)整模型到最優(yōu)效果；將待分割的醫(yī)學(xué)圖像送入調(diào)整好參數(shù)的網(wǎng)絡(luò)模型中，得到預(yù)測(cè)的分割結(jié)果，并與真實(shí)標(biāo)簽對(duì)比來(lái)評(píng)估模型性能。本發(fā)明針對(duì)經(jīng)典的U型網(wǎng)絡(luò)存在的缺乏上下文信息的問(wèn)題，在網(wǎng)絡(luò)中加入了可以即插即用，非常輕便的通道注意力機(jī)制和混合空洞注意力卷積層，以充分利用上下文信息，發(fā)掘通道有用特征。本發(fā)明的分割模型可以在參數(shù)量很少的情況下完成醫(yī)學(xué)圖像的分割。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分割領(lǐng)域，尤其涉及一種基于多尺度和注意力的醫(yī)學(xué)圖像分割方法。

背景技術(shù)

醫(yī)學(xué)圖像在醫(yī)學(xué)治療和診斷中起著至關(guān)重要的作用。醫(yī)學(xué)圖像分割是決定醫(yī)學(xué)圖像在臨床診療中能否提供可靠依據(jù)的關(guān)鍵問(wèn)題。其在醫(yī)學(xué)研究、病情診斷、病情分析、輔助手術(shù)等研究領(lǐng)域中有著極為重要的研究和應(yīng)用價(jià)值。

近年來(lái)，深度學(xué)習(xí)方法與計(jì)算機(jī)視覺(jué)的其他研究領(lǐng)域一樣，在醫(yī)學(xué)圖像分割中取得了優(yōu)異的成果，并遙遙領(lǐng)先于傳統(tǒng)的圖像分割方法。2014年，全卷積網(wǎng)絡(luò)(FullyConvolutional Networks，F(xiàn)CN)被加州大學(xué)伯克利分校的Long等人提了出來(lái)，其將卷積神經(jīng)網(wǎng)絡(luò)的全連接層全部換成了卷積層，這種方式不但可以輸入任何尺寸的數(shù)據(jù)，而且實(shí)現(xiàn)了像素級(jí)的圖像分割，使得分割后的精確率進(jìn)一步提高。在FCN的基礎(chǔ)上，研究者們提出了很多優(yōu)秀的全卷積神經(jīng)網(wǎng)絡(luò)，在實(shí)際的圖像分割中取得了非常好的結(jié)果。

最值得一提的是Ronneberger等人提出的U-net這是一項(xiàng)很有意義創(chuàng)新，該網(wǎng)絡(luò)已經(jīng)成功的應(yīng)用于許多圖像分割任務(wù)中。它與自動(dòng)編碼器類(lèi)似，由一個(gè)收縮分支和一個(gè)擴(kuò)展分支組成，并支持多分辨率分析。此外，該網(wǎng)絡(luò)還加入了跳躍連接，將編碼器、解碼器的不同特征連接，對(duì)不同分辨率的多尺度圖像到圖像的轉(zhuǎn)換建模。它可以在訓(xùn)練樣本很少的情況下工作，充分考慮了醫(yī)學(xué)圖像分割數(shù)據(jù)稀缺和類(lèi)別不平衡的問(wèn)題。到目前為止，人們已經(jīng)提出了許多基于U-Net的改進(jìn)方案。2018年，Li等人提出了一種混合的U-net網(wǎng)絡(luò)去分割肝臟腫瘤影像的方法，該方法結(jié)合2D和3D U-net來(lái)提取相應(yīng)的特征，能夠?qū)崿F(xiàn)自動(dòng)的肝臟腫瘤影像分割。盡管它們具有良好的表示能力，但是當(dāng)分割目標(biāo)在形狀和大小方面表現(xiàn)出較大的差異時(shí)，這些體系結(jié)構(gòu)仍依賴(lài)多級(jí)級(jí)聯(lián)的CNN。級(jí)聯(lián)框架提取感興趣區(qū)域(ROI)并對(duì)該特定ROI進(jìn)行密集的預(yù)測(cè)。應(yīng)用領(lǐng)域包括腹部胰腺分割,肝臟，脾臟，胃等腹部分割和肺部CT結(jié)節(jié)檢測(cè)。但是，這種方法導(dǎo)致過(guò)多和冗余地使用計(jì)算資源和模型參數(shù)。注意力機(jī)制則可以較好的解決上述問(wèn)題。注意力機(jī)制在文本處理、語(yǔ)音識(shí)別、圖像處理等領(lǐng)域被廣泛使用。它最大的特點(diǎn)在于可以通過(guò)對(duì)神經(jīng)元的輸入權(quán)重進(jìn)行動(dòng)態(tài)分配，以實(shí)現(xiàn)選擇性地關(guān)注信息中最關(guān)鍵的部分，即使用一個(gè)權(quán)值生成網(wǎng)絡(luò)來(lái)根據(jù)當(dāng)前上下文信息生成輸入向量的權(quán)值向量，而后將輸入向量乘以對(duì)應(yīng)權(quán)值，再連接當(dāng)前上下文信息作為新輸入，最后通過(guò)解碼器獲得當(dāng)前轉(zhuǎn)譯輸出。Oktay等人提出了門(mén)類(lèi)結(jié)構(gòu)，將注意力機(jī)制應(yīng)用到醫(yī)學(xué)圖像分割。該網(wǎng)絡(luò)首先在跳躍連接中提取特征映射送入注意門(mén)中然后連接。它的缺點(diǎn)主要是處理步驟分別對(duì)兩組特征圖執(zhí)行的，這種操作沒(méi)有充分利用上下文信息，發(fā)掘通道有用特征。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明提出了一種基于多尺度和注意力的醫(yī)學(xué)圖像分割方法。技術(shù)方案如下：

步驟1：獲取醫(yī)學(xué)圖像，對(duì)其進(jìn)行預(yù)處理，并劃分?jǐn)?shù)據(jù)集；

若獲取的醫(yī)學(xué)圖像為三維圖像，則在軸位方向重采樣置1mm，并切成二維切片；若為二維圖像，這一步則不做處理；若獲取的醫(yī)學(xué)圖像為灰度圖，則實(shí)施直方圖均衡算法增強(qiáng)圖像對(duì)比度，使圖片變得更清晰，有利于突出圖片信息；若為彩色圖像，這一步則不做處理。經(jīng)過(guò)這兩步處理后，對(duì)圖像進(jìn)行歸一化操作，使得送入到網(wǎng)絡(luò)中的圖片像素均值為0，方差為1，并采用在線數(shù)據(jù)增強(qiáng)的方式增加數(shù)據(jù)多樣性，包括隨機(jī)旋轉(zhuǎn)和隨機(jī)翻轉(zhuǎn)。另外，按照8：1：1的比例把數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

步驟2：構(gòu)建二維網(wǎng)絡(luò)模型，將經(jīng)過(guò)預(yù)處理的數(shù)據(jù)送入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；