[發明專利]一種融合深度多示例學習和包間相似性的乳腺癌檢測方法

有效

• 申請號: 202011396688.1
• 申請日: 2020-12-03
• 公開（公告）號: CN112598622B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 袁立明;程睿;溫顯斌;徐海霞
• 申請（專利權）人: 天津理工大學;天地偉業技術有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08;G06V10/74;G06V10/764;G06V10/80
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

一種融合深度多示例學習和包間相似性的乳腺癌檢測方法。涉及模式識別、圖像處理以及計算機視覺等領域，本方法研究基于包間相似性的深度多示例學習方法中相似性無法自動學習問題以及該方法在乳腺癌檢測中的應用。現有的基于包間相似性的深度多示例學習方法在乳腺癌檢測中具有良好效果，但是該方法使用固定的相似性度量，未考慮其自動學習問題，本方法通過引入通道和空間注意力機制對包間相似性進行自動學習，優化后的網絡能夠自動學習到比較重要的包間關系和示例間關系。與原始方法相比，基于本方法的乳腺癌檢測準確率更高，具有一定的實用價值。

技術領域

本發明涉及模式識別、圖像處理以及計算機視覺等領域，具體涉及一種基于深度多示例學習的乳腺癌檢測方法。

背景技術

近年來，人工智能在醫學輔助診斷中扮演著越來越重要的角色，不僅能夠輔助承擔繁瑣的病患篩查工作，而且可一定程度上避免人工閱片帶來的主觀錯誤。然而，獲取醫學圖像的細粒度標記(如：像素級標記)通常十分困難，導致傳統的強監督學習方法在醫學圖像處理中難以適用。為了解決上述問題，僅利用整幅圖像標注的弱監督學習技術在醫學輔助診斷中逐漸被廣泛采用并取得了同強監督學習相當或更優的效果。作為一種典型的弱監督學習范式，多示例學習一經提出便引發了業界的廣泛關注，尤其是在各種醫學圖像處理任務中展現出不錯的表現。

乳腺癌是一種女性得病率較高的惡性腫瘤，針對乳腺癌的醫學圖像分類具有非常重要的研究價值。本發明采用深度多示例學習技術對乳腺癌HE圖像進行分類，首先將患者的HE圖像分割為不同塊，然后將整張圖像視為包，圖像塊視為包中示例，示例的類別未知，但包的類別已知(已由專業的醫生標記好)，最后利用深度多示例學習技術完成特征的提取和圖像的分類。

與傳統多示例學習方法相比，本方明所提出的融合深度多示例學習和包間相似性的乳腺癌檢測方法具有以下特點：不僅考慮到示例級別的判別信息還考慮到包級別的判別信息，所提算法具備更強的魯棒性；利用通道和空間注意力機制對包間關系和示例間關系進行學習，解決了現有方法在包間相似性上的不可學習問題；與其他方法相比，所提方法對乳腺癌的檢測準確率更高。

發明內容

本發明提出一種融合深度多示例學習和包間相似性的乳腺癌檢測方法。該方法綜合利用示例級別和包級別信息對乳腺癌患者的HE圖像進行分類判斷，并通過引入通道和空間注意力模塊對包間相似性和示例間關系進行自動學習，與其他方法相比，所提方法對乳腺癌的檢測準確率更高，具有一定的實用價值。

本發明的融合深度多示例學習和包間相似性的乳腺癌檢測方法，主要包括如下關鍵步驟：

第1、基礎網絡的構建：

第1.1、使用一些常見的神經網絡提取示例特征；

第1.2、利用注意力機制從多角度重構包的表示；

第1.3、聚合包中示例形成包級表示并對包類別進行預測；

第2、主干網絡的構建：

第2.1、提取由基礎網絡習得的重構包作為參考包；

第2.2、計算目標包與所有參考包的相似性；

第2.3、將相似性矩陣送入通道注意力模塊；

第2.4、將通道注意力模塊的輸出送入空間注意力模塊；

第2.5、將空間注意力模塊的輸出送入分類器進行分類判斷。

進一步，步驟第1.1中構建了基礎網絡，采用全連接層或卷積層這些常用的神經網絡提取示例的抽象特征；

步驟第1.2中基于注意力機制的包重構方法如下：利用多個不同查詢向量對原始包進行查詢，產生示例權重并對所有示例進行加權平均，將原始包重構為由平均示例所構成的新包，假設X′_i為新包，則上述過程可描述為：