[發明專利]一種基于雙重注意力多示例深度學習的醫學圖像分類方法

在審

• 申請號: 202011294799.1
• 申請日: 2020-11-18
• 公開（公告）號: CN112529042A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 張道強;朱文勇;孫亮
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸燁

1.一種基于雙重注意力多示例深度學習的醫學圖像分類方法，其特征在于，該方法包括如下步驟：

步驟1：采集M個醫學圖像，判斷每個醫學圖像是否存在與特定任務相關的特征，將存在相關特征的醫學圖像的原始標簽設置為正，將不存在相關特征的醫學圖像的原始標簽設置為負；

步驟2：將原始標簽為正的醫學圖像以及原始標簽為負的醫學圖像都均勻劃分為r個立方體；該r個立方體尺寸均為W*W*W，將一個立方體作為一個圖像塊，基于原始標簽為正的醫學圖像中所有圖像塊的體素特征和原始標簽為負的醫學圖像中所有圖像塊的體素特征，在原始標簽為正的醫學圖像中選擇K個圖像塊，將該K個圖像塊所在的位置作為K個固定位置，提取M個醫學圖像中每個圖像在K個固定位置上的圖像塊；

步驟3：將M個醫學圖像中的K個圖像塊作為多示例學習模型的輸入，對多示例學習模型進行訓練；

步驟4：計算每個醫學圖像的訓練結果和該圖像原始標簽之間的交叉熵，建立基于交叉熵的損失函數，根據該損失函數判斷訓練后的多示例學習模型是否收斂，若是，則停止計算，得到訓練好的多示例學習模型，否則根據損失函數計算得到的損失更新多示例學習模型的權重，并轉步驟2；

步驟5：將新的醫學圖像輸入至訓練好的多示例學習模型中，判斷該醫學圖像的類別。

2.根據權利要求1所述的一種基于雙重注意力多示例深度學習的醫學圖像分類方法，其特征在于，所述步驟2具體為：選擇一組原始標簽為正的醫學圖像作為正類圖像組，選擇一組原始標簽為負的醫學圖像作為負類圖像組，且兩組圖像組中醫學圖像的個數相同；根據正類圖像組中每個圖像的第b個圖像塊對應的體素信息，計算得到正類圖像組中第b個圖像塊的平均值，根據負類圖像組中每個圖像的第b個圖像塊對應的體素信息，計算得到負類圖像組中第b個圖像塊的平均值，將該兩個平均值作為一組圖像塊組，從而組成對應于第b個圖像塊所在位置的兩個特征平均值向量，采用t檢驗比較該兩個特征平均值向量的差異性，得到第b個t檢驗結果，其中b＝1，2，…，r；對每一個t檢驗結果進行歸一化計算，并將計算結果按照由小到大排列，選擇前K個圖像塊組。

3.根據權利要求1所述的一種基于雙重注意力多示例深度學習的醫學圖像分類方法，其特征在于，所述步驟3中多示例學習模型的訓練過程為：

步驟3.1：從輸入的第m個醫學圖像的第k個圖像塊中提取影響分數和局部塊級別的特征，其中m＝1，2，…，M，k＝1，2…，K；

步驟3.2：根據提取的K個局部塊級別的特征和K個影響分數，計算得到m個醫學圖像的全局特征；

步驟3.3：根據全局特征計算第m個醫學圖像的類別。

4.根據權利要求3所述的一種基于雙重注意力多示例深度學習的醫學圖像分類方法，其特征在于，所述步驟3.1具體為：

步驟3.1.1：采用圖像塊級子網從輸入的第m個醫學圖像的第k個圖像塊中提取特征F，F＝{F₁，F₂，…，F_C}，F_c表示第c個特征，c為特征的總個數；所述圖像塊級子網包括依次連接的第一3D卷積層，第一批量歸一化模塊，第一激活函數，第二3D卷積層，第二批量歸一化模塊，第二激活函數，最大池化層，第三3D卷積層，第三批量歸一化模塊，第三激活函數，第四3D卷積層，第四批量歸一化模塊以及第四激活函數；所述第一3D卷積層的卷積核為4*4*4，第二～四3D卷積層的卷積核均為3*3*3，所述最大池化層的大小為2*2*2；

步驟3.1.2：采用空間注意力模塊提取F的局部塊級別的特征；采用全局平均池化模塊提取F的影響分數，所述全局平均池化模塊包括依次連接的全連接層和第一sigmoid函數層。