[發明專利]一種多尺度融合注意力的深度學習癌癥分子分型預測方法

在審

• 申請號: 202210543763.5
• 申請日: 2022-05-18
• 公開（公告）號: CN114841979A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 蒯玥;王洪玉;楊德勇;劉文龍
• 申請（專利權）人: 大連理工大學人工智能大連研究院;大連康智生物科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G16B40/00
• 代理公司: 青島恒昇眾力知識產權代理事務所(普通合伙) 37332
• 代理人: 蘇友娟

本發明公開了一種多尺度融合注意力的深度學習癌癥分子分型預測方法，涉及病理圖像智能處理技術領域，旨在解決由于全尺寸數字病理圖像像素尺寸過大，大多方法將其在某一倍率下切分為小的圖塊進一步訓練圖塊層面的分類模型；通過針對病理圖像不同尺度引入信息側重不同，搭建深度神經網絡關注空間尺度信息，同時也關注了通道信息，從多個維度充分利用圖塊信息，在本身沒有先驗知識確定分子分型在病理圖像中的特征表現時，充分利用不同尺度的空間信息，對模型訓練的不同通道有所側重使得模型更容易探索與分子分型相關的特征表現，提升預測性能。

技術領域

本發明涉及病理圖像智能處理技術領域，具體為一種多尺度融合注意力的深度學習癌癥分子分型預測方法。

背景技術

世界衛生組織下屬國際癌癥研究機構(IARC)數據顯示，2020年，中國新發癌癥病例數約457萬人，超過了世界其他國家。癌癥已經成為重大的公共健康問題。準確的癌癥預后分析有助于輔助醫生做出診療判斷，提高患者的生存機會及生存水平。在預后預測的方法中，分子分型提供了不小的幫助，而獲得分子分型的方法卻往往昂貴、耗時。因此，需要更便捷便宜的輔助方法。深度學習的發展為其提供了可能。比如Hinata M,UshikuT.Detecting immunotherapy-sensitive subtype in gastric cancer usinghistologic image-based deep learning[J].Science Reports,2021,11:22636.在文中對胃腺癌患者利用遷移學習使用病理圖像篩選對免疫檢查點抑制劑高度敏感的EBV和MSI/dMMR兩種分型，Acwa B,Me C,Jga B,et al.Deep Learning Predicts Molecular Subtypeof Muscle-invasive Bladder Cancer from Conventional Histopathological Slides[J].European Urology,2020,78(2):256-264.在文中搭建mibCNN網絡，使用病理圖像預測膀胱癌MDA分型。由于全尺寸數字病理圖像像素尺寸過大，大多方法將其在某一倍率下切分為小的圖塊進一步訓練圖塊層面的分類模型。由于分子分型的確定往往來自于分子方法，在圖像上的特征往往并不清晰，因而固定尺度無法充分探索相關特征，同時，也未充分利用到病理圖像不同尺度的信息。在圖塊的訓練過程中，對于圖塊本身，現有方法也未充分利用其信息，比如特征所側重的通道等。

發明內容

鑒于現有技術中所存在的問題，本發明公開了一種多尺度融合注意力的深度學習癌癥分子分型預測方法，采用的技術方案是，包括以下步驟：

S1，數據獲取及預處理，獲取癌癥患者分子分型，同時獲取對應患者的全尺寸數字病理切片圖像，根據癌種特點及該分子分型已知的相關病理知識選擇適宜倍率對病理圖像進行滑窗切分，獲得非重疊固定尺寸的圖塊，若圖像邊緣切出的圖塊尺寸不足該固定尺寸，則拋棄，對剩余圖塊進行評估，根據像素值篩除有效組織在圖塊中占比不足50％的圖塊，并對剩余圖塊進行顏色標準化處理，統一染色空間；

S2，篩選腫瘤圖塊，癌癥分子分型與腫瘤相關性更高，標注壞死、純間質、含腫瘤圖塊，由于此分類特征較為明顯，分類難度相對較低，使用計算機視覺領域已有的分類網絡進行遷移學習，獲得訓練好的模型后對所有圖塊篩選，篩選出含腫瘤圖塊；

S3，構建多尺度融合注意力的深度神經網絡模型，以ResNet-50為主干網絡，引入金字塔卷積PyConv模塊和通道注意力SE模塊，構建深度神經網絡模型

S4，圖塊分類模型訓練，設置訓練學習率、優化器、損失函數，將訓練集圖塊隨機裁剪至(3,224,224)送入所搭建的神經網絡中，計算損失值，反向傳播后更新網絡參數，迭代多次完成模型訓練，實現圖塊分子分型的分類；

S5，圖塊及病例預測，將測試集圖塊隨機裁剪至(3,224,224)送入已訓練好的模型，前向傳播，獲得最終圖塊的測試值，分子分型真值為病例層面的真值，因此將病例所有圖塊的預測值取均值表示該病例預測結果，實現病例分子分型的預測。