[發(fā)明專利]一種基于任務(wù)驅(qū)動的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法

有效

• 申請?zhí)枺?/td>: 202011245707.0
• 申請日: 2020-11-10
• 公開（公告）號: CN112329867B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 張哲昊;高琳琳;金光;郭立君;張榮
• 申請（專利權(quán)）人: 寧波大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 寧波誠源專利事務(wù)所有限公司 33102
• 代理人: 鄧青玲;方寧

1.一種基于任務(wù)驅(qū)動的層次注意力網(wǎng)絡(luò)的MRI圖像分類方法，其特征在于包括如下步驟：

步驟1、獲取一定數(shù)量、且類別已知的MRI圖像，對所有類別已知的MRI圖像進(jìn)行預(yù)處理，之后將所有預(yù)處理之后的MRI圖像歸一化為統(tǒng)一的大小，形成樣本集；

步驟2、將樣本集分成訓(xùn)練集、驗(yàn)證集和測試集；

步驟3、構(gòu)建信息子網(wǎng)絡(luò)，并利用訓(xùn)練集中的樣本對構(gòu)建的信息子網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練完成后的信息子網(wǎng)絡(luò)；

構(gòu)建的信息子網(wǎng)絡(luò)包括信息提取網(wǎng)絡(luò)和圖像塊分類網(wǎng)絡(luò)，其中，信息提取網(wǎng)絡(luò)為用于分類且以卷積核為1*1*1的卷積層替換掉全局平均池化層和全連接層的3D CNN，通過該信息提取網(wǎng)絡(luò)輸出通道數(shù)為1的信息圖；圖像塊分類網(wǎng)絡(luò)為用于分類的3D CNN；

所述信息子網(wǎng)絡(luò)訓(xùn)練的具體過程為：

步驟3-1、初始化信息提取網(wǎng)絡(luò)和圖像塊分類網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)；

步驟3-2、在訓(xùn)練集中任意選擇R張MRI圖像，并將選取的R張MRI圖像輸入到初始化的信息提取網(wǎng)絡(luò)中，得到每張MRI圖像所對應(yīng)的通道數(shù)為1的信息圖，R為正整數(shù)；

步驟3-3、分別提取每張信息圖中的K個最高值，并根據(jù)3D CNN的映射關(guān)系選取出每張信息圖中的K個最高值分別在與之對應(yīng)的MRI圖像中的K個L*W*H大小的圖像塊；其中，K、L、W和H均為正整數(shù)；

步驟3-4、將從每張MRI圖像中選取出的K個L*W*H大小的圖像塊輸入至初始化的圖像塊分類網(wǎng)絡(luò)中，得到從每張MRI圖像中選取的K個圖像塊屬于各個類別的分類概率，并根據(jù)各個類別的分類概率計(jì)算出從每張MRI圖像中選取的每個圖像塊的置信度；

步驟3-5、計(jì)算總損失函數(shù)L，并根據(jù)總損失函數(shù)L分別反向更新初始化的信息提取網(wǎng)絡(luò)和初始化的圖像塊分類網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)，分別得到一次更新后的信息提取網(wǎng)絡(luò)和圖像塊分類網(wǎng)絡(luò)，即得到一次訓(xùn)練后的信息子網(wǎng)絡(luò)；

L＝L_p-cls+L_cal

其中，L_p-cls為第一損失函數(shù)，y_r,k,j是一個指示變量，y_r,k,j＝0或1，當(dāng)從第r張MRI圖像中選取的第k個圖像塊的第j個類別與該MRI圖像的類別相同，則y_r,k,j＝1，反之，則y_r,k,j＝0；c_r,k,j為從第r張MRI圖像中選取的第k個圖像塊屬于第j個類別的分類概率；N為類別總數(shù)；L_cal為第二損失函數(shù)，s_r,k為第r張信息圖中的第k個最高值，d_r,k為從第r張MRI圖像中選取的第k個圖像塊的置信度；

步驟3-6、重復(fù)步驟3-2至步驟3-5，依次從訓(xùn)練集中選擇不同的MRI圖像，將選中的多張MRI圖像輸入到一次訓(xùn)練后的信息子網(wǎng)絡(luò)中，不斷更新信息子網(wǎng)絡(luò)中的參數(shù)，得到訓(xùn)練完成后的信息子網(wǎng)絡(luò)；

步驟4、將驗(yàn)證集中的MRI圖像送入步驟3訓(xùn)練完成后的信息子網(wǎng)絡(luò)中，篩選并保存具有最優(yōu)網(wǎng)絡(luò)參數(shù)的信息子網(wǎng)絡(luò)；

步驟5、構(gòu)建層次注意力子網(wǎng)絡(luò)，并利用訓(xùn)練集中的樣本對構(gòu)建的層次注意力子網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練完成后的層次注意力子網(wǎng)絡(luò)；

構(gòu)建的層次注意力子網(wǎng)絡(luò)是以3D CNN為主干的網(wǎng)絡(luò)結(jié)構(gòu)，另外，該3D CNN的卷積模塊后面還設(shè)有注意力模塊，注意力模塊以信息圖為輸入，注意力模塊的輸出F′的計(jì)算公式為：

F′＝A⊙F，其中A＝TI(M)

其中，F(xiàn)為3D CNN中某個卷積模塊輸出的特征圖，M為信息圖，TI()為三線性插值函數(shù)，使A與F的矩陣空間大小相同；⊙為點(diǎn)積運(yùn)算；

通過上述計(jì)算公式得到的F′即作為3D CNN中輸出特征圖F的卷積模塊下一層的輸入；

所述層次注意力子網(wǎng)絡(luò)訓(xùn)練的具體過程為：

步驟5-1、初始化層次注意力子網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)；

步驟5-2、將訓(xùn)練集中的Q張MRI圖像經(jīng)過步驟4中所保存的信息子網(wǎng)絡(luò)得到Q張信息圖，并將Q張信息圖作為注意力模塊的輸入，同時將Q張MRI圖像輸入到設(shè)置有注意力模塊的層次注意力子網(wǎng)絡(luò)中，Q為正整數(shù)；

步驟5-3、計(jì)算層次注意力子網(wǎng)絡(luò)的損失函數(shù)L_a-cls，并根據(jù)該損失函數(shù)反向更新層次注意力子網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù)，得到一次更新后的層次注意力子網(wǎng)絡(luò)；

其中，x_q,j是一個指示變量，x_q,j＝0或1，當(dāng)?shù)趒張MRI圖像的第j個類別與該MRI圖像的類別相同，則x_q,j＝1，反之，則x_q,j＝0；I_q為輸入到層次注意力子網(wǎng)絡(luò)中的第q張MRI圖像，M_q為MRI圖像I_q經(jīng)過信息子網(wǎng)絡(luò)后得到的信息圖，c′_q,j為第q張MRI圖像I_q和信息圖M_q輸入到層次注意力子網(wǎng)絡(luò)中被預(yù)測為第j個類別的概率；

步驟5-4、依次從訓(xùn)練集中選擇不同的MRI圖像，重復(fù)步驟5-2至步驟5-3，不斷更新層次注意力子網(wǎng)絡(luò)中的參數(shù)，得到訓(xùn)練完成后的層次注意力子網(wǎng)絡(luò)；

步驟6、將驗(yàn)證集中的MRI圖像經(jīng)過步驟4中所保存的信息子網(wǎng)絡(luò)得到驗(yàn)證集中每張MRI圖像對應(yīng)的信息圖，并將這些信息圖作為步驟5訓(xùn)練完成后的層次注意力子網(wǎng)絡(luò)中注意力模塊的輸入，同時將驗(yàn)證集中的MRI圖像送入步驟5訓(xùn)練完成后的層次注意力子網(wǎng)絡(luò)中，篩選并保存具有最優(yōu)網(wǎng)絡(luò)參數(shù)的層次注意力子網(wǎng)絡(luò)；

步驟7、獲取待分類MRI圖像的類別：具體過程為：在測試集中任意選擇一張MRI圖像，記為待分類MRI圖像I’，將該待分類MRI圖像I’輸入到步驟4得到的信息子網(wǎng)絡(luò)中得到信息圖M’，之后將該信息圖M’和待分類MRI圖像I’輸入到步驟6中得到的層次注意力子網(wǎng)絡(luò)中得到該待分類MRI圖像I’屬于每一類別的概率，將概率最高的值對應(yīng)的類別作為該待分類MRI圖像的類別。