[發明專利]一種基于深度多示例學習和自注意力的醫學圖像分類方法

有效

• 申請號: 202011394327.3
• 申請日: 2020-12-03
• 公開（公告）號: CN112598024B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 袁立明;李貞亮;溫顯斌;徐海霞
• 申請（專利權）人: 天津理工大學;天地偉業技術有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06K9/62;G06V10/40;G06N3/04;G06N3/08;G06T7/10
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

本發明公開了一種基于深度多示例學習和自注意力的醫學圖像分類方法，涉及醫學圖像處理技術，該方法包括：對醫學圖像進行預處理，產生多示例學習中的示例包；利用卷積神經網絡提取包中示例特征；基于自注意力機制構造特征提取模塊，學習示例間的依賴關系；使用特征池化模塊聚合包中示例特征，得到包級特征向量；將包級特征向量作為分類器的輸入，產生輸入圖像的預測標記。本發明通過卷積網絡捕獲待識別圖像的局部細節特征，利用自注意力機制學習待識別圖像的全局結構特征，兩種特征互為補充，提高了整個網絡的分類性能和穩定性，此外，通過引入可訓練的池化算子，進一步增強了網絡的可解釋性。

技術領域

本發明涉及醫學圖像處理技術，具體涉及一種基于深度多示例學習和自注意力的醫學圖像分類方法。

背景技術

近年來，深度學習方法在諸多人工智能領域已遠遠超越了傳統的淺層機器學習方法，對學術界和工業界產生了廣泛而深刻的影響。在圖像分類領域，深度監督學習方法取得了前所未有的成功，在諸多大型圖像分類任務中展現出不亞于人類的識別和分類能力，其中一個關鍵驅動力是大量有確切標注的樣本數據。然而，在實際應用中對樣本進行大量細致的標注往往是極為困難的，例如，在醫學圖像分析中，獲取病灶的具體位置常常是費時費力的，多數情況下僅能獲得圖像的整體標注信息(良性/惡性)或大致的感興趣區域；此外，特定分類任務的數據規模往往較小，若采用監督學習方法直接對其進行建模，容易出現過擬合現象，導致模型的泛化能力較差。因此，能夠應對此類任務的弱監督學習模型逐漸引起了研究者的關注，弱監督學習模型僅依賴粗粒度標記即可完成圖像的分類任務。

多示例學習是一種典型的弱監督學習范式，以示例包為基本處理單元。利用多示例學習技術對醫學圖像進行分類，可將每張圖像視為一個示例包，其中每個示例對應圖像的一個局部區域，通過學習示例特征進而構造整個包的表征來實現包與其標記的映射關系。大多數現有方法假設包內示例獨立同分布，但實際應用中同一包內示例間往往存在某種關聯，例如，醫學圖像的不同局部區域間常蘊含著重要的上下文信息，因而示例特征學習過程中考慮包的結構信息有利于設計出更合理的分類模型并取得更好的分類效果。

發明內容

本發明提出一種基于深度多示例學習和自注意力的醫學圖像分類方法，解決現有方法因忽視圖像的全局結構信息而導致的分類性能較低等問題，為醫學圖像分類提供一種新的基于深度多示例學習網絡的解決方案。

本發明提供一種基于深度多示例學習和自注意力的醫學圖像分類方法，包括：

預處理步驟，對醫學圖像進行預處理，產生多示例學習中的示例包；

特征構造步驟，利用卷積神經網絡提取示例特征，捕獲圖像的局部細節信息；

特征提取步驟，基于自注意力機制構造特征提取模塊，學習示例間的依賴關系，捕獲圖像的全局結構信息；

特征池化步驟，基于注意力機制構造特征池化模塊，利用該模塊聚合包中示例，得到示例包的包級特征向量；

類別預測步驟，使用一個帶Sigmoid激活函數的全連接層作為分類器，對包級特征向量進行分類，產生輸入圖像的預測標記。

優選的，所述預處理步驟具體為：

對醫學圖像進行均勻分割，或者使用滑動窗口進行滑動分割，得到若干尺寸相同的圖像塊；根據待分類圖像的具體特點，有選擇地剔除沒有價值的圖像塊；將分割自同一圖像的圖像塊打包為一個示例包。

優選的，所述特征構造步驟具體為：

使用兩個帶ReLU激活函數的卷積層提取圖像塊特征，其中每個卷積層后接1個最大池化層過濾特征信息；調整特征圖尺寸，按行優先原則轉換為固定長度的特征向量；經過特征提取后，一個示例包由一組特征向量組成，記為X。

優選的，所述特征提取步驟具體為：