[發明專利]異常細胞轉移程度的預測方法、裝置和存儲介質

在審

• 申請號: 202110239635.7
• 申請日: 2021-03-04
• 公開（公告）號: CN113705595A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 楊帆;李航;姚建華;邢小涵;趙宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G16H50/20
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫之剛;呂傳奇

提供了一種利用人工智能實施的基于醫學數據對異常細胞轉移程度進行預測的方法。該方法包括：獲取與異常細胞相關的多個模態的醫學數據；從多個模態的醫學數據中分別提取每個模態的醫學數據的單模態特征；通過對所提取的各個單模態特征進行融合而得到多個模態的醫學數據的跨模態融合特征；利用跨模態融合特征作為全局特征對各個單模態特征進行調整；基于經調整的各個單模態特征得到多個模態的醫學數據的多模態特征；根據多模態特征進行對異常細胞轉移程度進行預測。通過基于醫學數據對異常細胞轉移程度進行預測的方法和裝置，實現了對患者的不同模態的病理信息的融合，充分利用了患者多模態的信息資源，提高了異常細胞淋巴轉移的預測準確率。

技術領域

本發明涉及醫學圖像處理領域，具體來說涉及對異常細胞轉移程度進行預測的方法、裝置、計算設備和計算機可讀存儲介質。

背景技術

目前，人工智能技術在各種醫學工程中得到了廣泛使用。人工智能網絡已經被用來根據不同疾病的特點輔助醫生做出決策。

在臨床診斷中，醫生通常會基于患者病灶組織的病理圖像和患者的臨床診斷信息來做出決策。在一些相關技術中，神經網絡模型（例如全連接神經網絡）被用來基于患者的臨床信息預測患者病灶組織的狀態。但是，由于臨床信息的內容是對患者狀況的有限描述，不能全面反應患者的病灶組織的微環境，限制了神經網絡模型的性能。在另一些相關技術中，病理圖像被用來預測患者病灶組織的狀態。但是，由于病理圖像只反應了獲取病灶組織部位的病理環境，所以未能將患者的生理狀態共同納入決策過程。對于一些同時考慮患者臨床信息和病理圖像的方案，其中涉及到的病理圖像（特別是病理特征部分）通常需要人工判讀。由于這樣的判讀對病理醫生要求較高且耗時較久，并且在不同的實驗室間存在差異，所以會導致判讀的指標出現浮動。這可能導致錯誤的決策。

發明內容

現有技術中的人工智能在對異常細胞進行分類時，大多僅依據一種病理信息進行分類，沒有結合其他病理信息（例如，病人的臨床信息）的整體情況進行分類，分類準確率不高。現有技術的人工智能網絡包括中，分類邏輯及網絡包括過于簡單，導致分類的準確率不高。

鑒于此，本發明提供了對異常細胞轉移程度進行預測的方法、裝置、計算設備和計算機可讀存儲介質，期望緩解或克服上面提到的部分或全部缺陷以及其他可能的缺陷。

根據本發明的第一方面，提供了基于醫學數據對異常細胞轉移程度進行預測的方法。該方法包括：獲取與異常細胞相關的多個模態的醫學數據；從多個模態的醫學數據中分別提取每個模態的醫學數據的單模態特征；通過對所提取的各個單模態特征進行融合而得到多個模態的醫學數據的跨模態融合特征；利用跨模態融合特征作為全局特征對各個單模態特征進行調整；基于經調整的各個單模態特征得到多個模態的醫學數據的多模態特征；根據多模態特征進行對異常細胞轉移程度進行預測。

在一些實施例中，多個模態至少包括第一模態和第二模態，第一模態的醫學數據對應于異常細胞的圖像數據，第二模態的醫學數據對應于異常細胞所屬患者的臨床信息數據，其中第一模態的醫學數據對應于多種縮放尺度下的異常細胞的圖像數據，多種縮放尺度中每種縮放尺度下的異常細胞圖像包括多張圖像。

在一些實施例中，從多個模態的醫學數據中分別提取每個模態的醫學數據的單模態特征包括：針對第一模態使用第一特征提取網絡提取第一模態的特征；和針對第二模態使用第二特征提取網絡提取第二模態的特征。

在一些實施例中，多種縮放尺度中每種縮放尺度下的異常細胞圖像包括的多張圖像是數量不同的多張圖像。

在一些實施例中，第一特征提取網絡包括基于第一數據集進行預先訓練的圖像特征提取器，第二特征提取網絡包括基于第二數據集進行預先訓練的表格特征提取器。