[發明專利]一種融合深度多示例學習和包間相似性的乳腺癌檢測方法

有效

• 申請號: 202011396688.1
• 申請日: 2020-12-03
• 公開（公告）號: CN112598622B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 袁立明;程睿;溫顯斌;徐海霞
• 申請（專利權）人: 天津理工大學;天地偉業技術有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08;G06V10/74;G06V10/764;G06V10/80
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

1.一種融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于該方法包括如下步驟：

第1、基礎網絡的構建：

第1.1、使用一些常見的神經網絡提取示例特征；

第1.2、利用注意力機制從多角度重構包的表示；

第1.3、聚合包中示例形成包級表示并對包類別進行預測；

第2、主干網絡的構建：

第2.1、提取由基礎網絡習得的重構包作為參考包；

第2.2、計算目標包與所有參考包的相似性；

第2.3、將相似性矩陣送入通道注意力模塊；

第2.4、將通道注意力模塊的輸出送入空間注意力模塊；

第2.5、將空間注意力模塊的輸出送入分類器進行分類判斷；

將患者的HE圖像分割為不同塊，然后將整張圖像視為包，圖像塊視為包中示例，示例的類別未知，但包的類別已知，已由專業的醫生標記好，最后利用深度多示例學習技術完成特征的提取和圖像的分類。

2.如權利要求1所述的融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于，步驟第1.1中構建了基礎網絡，采用全連接層或卷積層這些常用的神經網絡提取示例的抽象特征。

3.如權利要求1所述的融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于，步驟第1.2中基于注意力機制的包重構方法如下：利用多個不同查詢向量對原始包進行查詢，產生示例權重并對所有示例進行加權平均，將原始包重構為由平均示例所構成的新包，假設X'_i為新包，則上述過程可描述為：

其中softmax和tanh為激活函數，V和W為可學習參數。

4.如權利要求1所述的融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于，步驟第1.3中聚合包中示例并預測包類別的方法如下：再次應用注意力機制并采用單個查詢向量，將重構包中的所有示例聚合為一個單特征向量，即包級表示，進而將該包級表示送入分類器獲得包的分類結果，則這一過程可形式化為：

P(X_i)＝f(AttPooling₂(X_i))，

其中P(X_i)是分類器f對包X_i的預測值。

5.如權利要求1所述的融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于，步驟第2.1中提取經由基礎網絡習得的重構包并將其作為參考包，這些參考包用于計算與目標包對應的相似性矩陣。

6.如權利要求1所述的融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于，步驟第2.2中為了更好地計算目標包與參考包之間的相似性，對目標包使用新的特征提取模塊，用新的目標包參與相似性運算，假設目標包為X_T，參考包為則X_T與所有參考包之間的相似性可用矩陣來表示，其中是X_T與之間的相似性矩陣，由個示例間的內積結果構成。

7.如權利要求1所述的融合深度多示例學習和包間相似性的乳腺癌檢測方法，其特征在于，步驟第2.3中構造通道注意力模塊，為不同的相似性矩陣分配不同的權重，以滿足不同參考包對目標包有不同影響這一特點，增強模型的可解釋性，首先對每個通道上的相似性矩陣進行全局平均池化得到通道的代表值，然后將所有代表值送入由兩個卷積層所構成的通道注意力模塊獲得通道權重，整個過程可描述為：

S＝Conv2(Conv1(GlobalPooling((S))))·S，

其中兩個卷積層的激活函數分別采用ReLU和Sigmoid。