[發(fā)明專利]一種基于任務(wù)驅(qū)動(dòng)的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011245707.0
• 申請(qǐng)日: 2020-11-10
• 公開(kāi)（公告）號(hào): CN112329867B
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 張哲昊;高琳琳;金光;郭立君;張榮
• 申請(qǐng)（專利權(quán)）人: 寧波大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 寧波誠(chéng)源專利事務(wù)所有限公司 33102
• 代理人: 鄧青玲;方寧

本發(fā)明涉及一種基于任務(wù)驅(qū)動(dòng)的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法，首先，構(gòu)建訓(xùn)練集、驗(yàn)證集和測(cè)試集；其次，利用訓(xùn)練集對(duì)構(gòu)建信息子網(wǎng)絡(luò)進(jìn)行訓(xùn)練及通過(guò)驗(yàn)證集得到具有最優(yōu)網(wǎng)絡(luò)參數(shù)的信息子網(wǎng)絡(luò)；接著利用訓(xùn)練集對(duì)構(gòu)建的層次注意力子網(wǎng)絡(luò)進(jìn)行訓(xùn)練及通過(guò)驗(yàn)證集得到具有最優(yōu)網(wǎng)絡(luò)參數(shù)的層次注意力子網(wǎng)絡(luò)；最后，在測(cè)試集中任意選擇一張MRI圖像，將該圖像輸入到上述信息子網(wǎng)絡(luò)中得到信息圖，之后將該信息圖和待分類MRI圖像輸入到訓(xùn)練后的層次注意力子網(wǎng)絡(luò)中得到該待分類MRI圖像屬于每一類別的概率，將概率最高的值對(duì)應(yīng)的類別作為該待分類MRI圖像的類別。該方法不僅可以定位與分類相關(guān)的區(qū)域，而且擁有優(yōu)越的分類性能。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于任務(wù)驅(qū)動(dòng)的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，簡(jiǎn)稱CNN)由于其出色的特征提取能力被廣泛用于圖像分類任務(wù)中。此類網(wǎng)絡(luò)可以直接將圖像作為輸入，并自行提取圖像的顏色、紋理等特征，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和模型構(gòu)建過(guò)程。

由于磁共振成像(magnetic resonance imaging，簡(jiǎn)稱MRI)圖像較大，直接使用用于自然圖像分類的CNN結(jié)構(gòu)對(duì)其分類往往精度不高。所以有許多學(xué)者對(duì)自然圖像分類的CNN結(jié)構(gòu)做了改進(jìn)，現(xiàn)有的基于CNN的MRI圖像分類方法可以分為三類：基于感興趣區(qū)域(regions-of-interest，簡(jiǎn)稱ROI)的分類方法，基于圖像塊的分類方法和基于全圖像的分類方法。

基于ROI的分類方法首先根據(jù)專家的領(lǐng)域知識(shí)對(duì)原圖相關(guān)區(qū)域進(jìn)行預(yù)分割并提取特征，然后構(gòu)建MRI圖像分類器，但是這種方法通常不能覆蓋整個(gè)MRI圖像所有分類相關(guān)區(qū)域，同時(shí)還需要復(fù)雜的預(yù)處理步驟。基于圖像塊的分類方法通常先將整幅MRI圖像分割成多個(gè)圖像塊，然后從這些圖像塊中提取特征，最后簡(jiǎn)單地融合這些圖像塊特征用于對(duì)樣本進(jìn)行分類。基于圖像塊的方法可以更好地提取圖像的局部特征并且不需要領(lǐng)域知識(shí)。但是，這些方法只是簡(jiǎn)單地使用了CNN的最后幾層來(lái)融合圖像塊的特征，可能會(huì)導(dǎo)致整個(gè)圖像中一些潛在的信息丟失。基于全圖的分類方法針對(duì)整個(gè)MRI圖像提取特征，它們可以獲得全局的特征并且不需要專家知識(shí)。然而，由于MRI圖像較大而與分類相關(guān)區(qū)域較小，這類方法無(wú)法準(zhǔn)確定位到這些區(qū)域?qū)е伦詈蠓诸惤Y(jié)果不佳。目前較先進(jìn)的基于全圖的分類方法通常會(huì)采取注意力機(jī)制，即讓網(wǎng)絡(luò)學(xué)習(xí)全圖各區(qū)域的權(quán)值，通過(guò)加權(quán)的方法提升分類準(zhǔn)確率。

綜上所述，基于ROI的分類方法和基于圖像塊的分類方法側(cè)重于使用不同的策略來(lái)提取具有判別性的局部特征，而基于整幅圖像的方法側(cè)重于提取整幅圖像的語(yǔ)義特征。然而，前兩種方法往往忽略了對(duì)整幅圖像特征的挖掘，而最后一種方法沒(méi)有充分進(jìn)行與分類相關(guān)的局部區(qū)域特征的提取。總之，上述的前兩種方法注重于對(duì)圖像局部特征的提取，而最后一種方法注重于對(duì)圖像整體特征的提取。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)提供一種不僅可以定位與分類相關(guān)的區(qū)域，而且擁有優(yōu)越的分類性能的基于任務(wù)驅(qū)動(dòng)的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法。

本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：一種基于任務(wù)驅(qū)動(dòng)的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法，其特征在于包括如下步驟：

步驟1、獲取一定數(shù)量、且類別已知的MRI圖像，對(duì)所有類別已知的MRI圖像進(jìn)行預(yù)處理，之后將所有預(yù)處理之后的MRI圖像歸一化為統(tǒng)一的大小，形成樣本集；

步驟2、將樣本集分成訓(xùn)練集、驗(yàn)證集和測(cè)試集；

步驟3、構(gòu)建信息子網(wǎng)絡(luò)，并利用訓(xùn)練集中的樣本對(duì)構(gòu)建的信息子網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練完成后的信息子網(wǎng)絡(luò)；

構(gòu)建的信息子網(wǎng)絡(luò)包括信息圖提取網(wǎng)絡(luò)和圖像塊分類網(wǎng)絡(luò)，其中，信息圖提取網(wǎng)絡(luò)為用于分類且以卷積核為1*1*1的卷積層替換掉全局平均池化層和全連接層的3D CNN，通過(guò)該信息圖提取網(wǎng)絡(luò)輸出通道數(shù)為1的信息圖；圖像塊分類網(wǎng)絡(luò)為用于分類的3DCNN；