[發明專利]一種基于多模態融合的胰腺癌早期診斷方法與系統

在審

• 申請號: 202210123985.1
• 申請日: 2022-02-10
• 公開（公告）號: CN114520052A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王楷林;馮瑞
• 申請（專利權）人: 復旦大學
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06V10/764;G06V10/80;G06V10/82;G06V10/771;G06V10/774;G06K9/62
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 程宗德

本發明公開了一種基于多模態融合的胰腺癌早期診斷方法，具有這樣的特征，包括以下步驟：步驟1，對病人的血檢數據和影像數據進行預處理，獲得血檢數據特征和影像特征；步驟2，將影像特征和對應的血檢數據特征融合，以雙模態融合的結果作為數據集訓練分類模型，得到多模態胰腺癌早期診斷模型；步驟3，根據病人的血檢和影像結果，采用多模態胰腺癌早期診斷模型進行診斷工作。本發明診斷方法可用于胰腺癌高危人群的早期診斷，早期診斷模型的準確率達到了82.21％，大大提升早期胰腺癌診斷準確率，實現胰腺癌患者的早診早治，提高生存率。本發明還公開了一種基于多模態融合的胰腺癌早期診斷系統，包括預處理部和診斷部。

技術領域

本發明涉及計算機視覺領域以及醫學領域，具體涉及一種基于多模態融合的胰腺癌早期診斷方法與系統。

背景技術

胰腺癌是實體腫瘤中惡性程度和致死率最高的腫瘤之一，被稱為“癌中之王”。中國國家癌癥中心的最新統計數據也證實，胰腺癌在中國城市的男性惡性腫瘤發病率中排名第八，在大城市(北京和上海)的惡性腫瘤死亡率中排名第六。胰腺癌五年生存率僅為6％。2018年全球內有近45萬胰腺癌新發病例，死亡超過43萬例，預計2030年，胰腺癌將成為全球癌癥死亡的第二大原因。其高死亡率歸因于早期癥狀不明顯、缺乏有效的診斷方法、病程進展迅速等。雖然近年來研究者為改善胰腺癌患者的預后做出了很多努力，如研究胰腺癌發生發展的機制、探索各種早期診斷，但其高死亡率并未得到明顯改善。不斷上升的發病率和持續的低生存率凸顯了確定高風險患者篩查方法的必要性。

胰腺癌的早期診斷是降低其高死亡率的最佳途徑之一，對胰腺癌發病風險較高的個體進行早期診斷才具有成本效益。

將從血液、尿液、唾液、糞便或胰液中獲得的生物標志物作為胰腺癌早期診斷的非侵入性分子標志物，以輔助篩查、早期診斷和治療胰腺癌，一直是一個值得深入研究的領域。目前糖類抗原19-9(CA19-9)是使用最為廣泛的早期檢測生物標志物。

胰腺癌早期診斷一直是一個重大挑戰。胰腺癌的診斷主要依賴于影像學檢查，計算機斷層掃描(computed tomography，CT)和磁共振成像(Magnetic Resonance Imaging，MRI)是最常用的影像學技術。可以用于判斷胰腺癌的癌變部位以及癌變性質、病變分期等。影像學檢查，作為一種無創性的診斷方法，通過顯示病變的形態,大小及強化狀態，幫助醫生做出臨床診斷。另外，腫瘤治療反應標準(response evaluation criteria in solidtumors，RECIST)也根據病變體積變化，來評估胰腺癌的治療療效。

影像學在胰腺癌的診斷、術前評估、療效評估及預后預測等方面發揮了重要作用。隨著人工智能和醫學影像技術的發展，胰腺癌的早期診斷水平隨著研究的深入不斷得到提升，有望在將來真正應用于臨床實踐。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種基于多模態融合的胰腺癌早期診斷方法與系統。

本發明提供了一種基于多模態融合的胰腺癌早期診斷方法，具有這樣的特征，包括以下步驟：步驟1，對病人的血檢數據和影像數據進行預處理，獲得血檢數據特征和影像特征；步驟2，將影像特征和對應的血檢數據特征融合，以雙模態融合的結果作為數據集訓練分類模型，得到多模態胰腺癌早期診斷模型；步驟3，根據病人的血檢和影像結果，采用多模態胰腺癌早期診斷模型進行診斷工作。

在本發明提供的基于多模態融合的胰腺癌早期診斷方法中，還可以具有這樣的特征：其中，步驟1包括以下步驟：步驟1-1，對血檢數據和影像數據進行數據清洗，去掉過于多缺實值的數據；步驟1-2，通過ResNet-50提取每位患者的影像特征；步驟1-3，通過OneHotEncoder提取患者的血檢數據特征；步驟1-4，通過PCA對影像特征進行降維處理；步驟1-5，將影像特征與患者對應的血檢數據特征進行拼接融合處理。