[發(fā)明專利]一種基于深度多示例學(xué)習(xí)和自注意力的醫(yī)學(xué)圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011394327.3
• 申請(qǐng)日: 2020-12-03
• 公開（公告）號(hào): CN112598024B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 袁立明;李貞亮;溫顯斌;徐海霞
• 申請(qǐng)（專利權(quán)）人: 天津理工大學(xué);天地偉業(yè)技術(shù)有限公司
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06K9/62;G06V10/40;G06N3/04;G06N3/08;G06T7/10
• 代理公司: 天津耀達(dá)律師事務(wù)所 12223
• 代理人: 張耀

1.一種基于深度多示例學(xué)習(xí)和自注意力的醫(yī)學(xué)圖像分類方法，其特征在于，包括下列步驟：

預(yù)處理步驟，對(duì)醫(yī)學(xué)圖像進(jìn)行預(yù)處理，產(chǎn)生多示例學(xué)習(xí)中的示例包；

特征構(gòu)造步驟，利用卷積神經(jīng)網(wǎng)絡(luò)提取示例特征，捕獲圖像的局部細(xì)節(jié)信息；

特征提取步驟，基于自注意力機(jī)制構(gòu)造特征提取模塊，學(xué)習(xí)示例間的依賴關(guān)系，捕獲圖像的全局結(jié)構(gòu)信息；

特征池化步驟，基于注意力機(jī)制構(gòu)造特征池化模塊，利用該模塊聚合包中示例，得到示例包的包級(jí)特征向量；

類別預(yù)測步驟，使用一個(gè)帶Sigmoid激活函數(shù)的全連接層作為分類器，對(duì)包級(jí)特征向量進(jìn)行分類，產(chǎn)生輸入圖像的預(yù)測標(biāo)記；

所述特征構(gòu)造步驟具體為：

使用兩個(gè)帶ReLU激活函數(shù)的卷積層提取圖像塊特征，其中每個(gè)卷積層后接1個(gè)最大池化層過濾特征信息；調(diào)整特征圖尺寸，按行優(yōu)先原則轉(zhuǎn)換為固定長度的特征向量；經(jīng)過特征提取后，一個(gè)示例包由一組特征向量組成，記為X；

所述特征提取步驟具體為：

利用三個(gè)映射矩陣對(duì)示例包進(jìn)行變換，得到查詢項(xiàng)Q、鍵項(xiàng)K、值項(xiàng)V；使用如下自注意力模型提取示例間關(guān)系：

Att(Q,K,V；ω)＝ω(QK^T)X，

其中d_i、d_o分別表示該層的輸入輸出維度，d_o＝d_i/2，α-entmax激活函數(shù)的具體形式為：

其中指單機(jī)概率，是在α≥1條件下的Tsallis熵的連續(xù)族，當(dāng)α＝1時(shí)，α-entmax退化為SoftMax；

所述特征池化步驟具體為：

利用映射矩陣對(duì)更新后的示例包Z進(jìn)行變換，得到ZW^Z并將其作為鍵項(xiàng)和值項(xiàng)，則給定查詢項(xiàng)Q，利用如下注意力模型對(duì)包中示例進(jìn)行聚合：

其中激活函數(shù)使用α-entmax函數(shù)，查詢項(xiàng)Q和映射矩陣W^Z是可學(xué)習(xí)參數(shù)，超參數(shù)k和d_o分別決定輸出向量的數(shù)量和維度，選取k＝1。

2.根據(jù)權(quán)利要求1所述的基于深度多示例學(xué)習(xí)和自注意力的醫(yī)學(xué)圖像分類方法，其特征在于，所述預(yù)處理步驟具體為：

對(duì)醫(yī)學(xué)圖像進(jìn)行均勻分割，或者使用滑動(dòng)窗口進(jìn)行滑動(dòng)分割，得到若干尺寸相同的圖像塊；根據(jù)待分類圖像的具體特點(diǎn)，有選擇地剔除沒有價(jià)值的圖像塊；將分割自同一圖像的圖像塊打包為一個(gè)示例包。

3.根據(jù)權(quán)利要求1所述的基于深度多示例學(xué)習(xí)和自注意力的醫(yī)學(xué)圖像分類方法，其特征在于：

利用誘導(dǎo)點(diǎn)原理來改進(jìn)自注意力模型，改進(jìn)后的自注意力模型描述為：

其中誘導(dǎo)點(diǎn)I和映射矩陣W^X是可訓(xùn)練參數(shù)。