[發明專利]異常細胞轉移程度的預測方法、裝置和存儲介質

在審

• 申請號: 202110239635.7
• 申請日: 2021-03-04
• 公開（公告）號: CN113705595A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 楊帆;李航;姚建華;邢小涵;趙宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G16H50/20
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫之剛;呂傳奇

1.一種基于醫學數據對異常細胞轉移程度進行預測的方法，包括：

獲取與異常細胞相關的多個模態的醫學數據；

從所述多個模態的醫學數據中分別提取每個模態的醫學數據的單模態特征；

通過對所提取的各個單模態特征進行融合而得到所述多個模態的醫學數據的跨模態融合特征；

利用所述跨模態融合特征作為全局特征對各個單模態特征進行調整；

基于經調整的各個單模態特征得到所述多個模態的醫學數據的多模態特征；

根據所述多模態特征進行對所述異常細胞轉移程度進行預測。

2.根據權利要求1所述的方法，其中所述多個模態至少包括第一模態和第二模態，所述第一模態的醫學數據對應于異常細胞的圖像數據，所述第二模態的醫學數據對應于所述異常細胞所屬患者的臨床信息數據，

其中所述第一模態的醫學數據對應于多種縮放尺度下的異常細胞的圖像數據，所述多種縮放尺度中每種縮放尺度下的異常細胞圖像包括多張圖像。

3. 根據權利要求2所述的方法，其中所述從所述多個模態的醫學數據中分別提取每個模態的醫學數據的單模態特征包括：

針對第一模態使用第一特征提取網絡提取第一模態的特征；和

針對第二模態使用第二特征提取網絡提取第二模態的特征。

4.根據權利要求2所述的方法，其中所述多種縮放尺度中每種縮放尺度下的異常細胞圖像包括的多張圖像是數量不同的多張圖像。

5.根據權利要求3所述的方法，其中所述第一特征提取網絡包括基于第一數據集進行預先訓練的圖像特征提取器，所述第二特征提取網絡包括基于第二數據集進行預先訓練的表格特征提取器。

6.根據權利要求3所述的方法，其中所述通過對所提取的各個單模態特征進行融合而得到所述多個模態的醫學數據的跨模態融合特征包括：

針對所述第一模態下所述異常細胞在每種縮放尺度下的多張圖像的特征進行加權融合，得到所述異常細胞在每種尺度下的加權融合特征；

對所述第一模態下各個尺度的加權融合特征和所述第二模態的特征進行拼接，得到跨模態融合特征。

7.根據權利要求6所述的方法，其中所述針對所述第一模態下所述異常細胞在每種縮放尺度下的多張圖像的特征進行加權融合，得到所述異常細胞在每種尺度下的加權融合特征包括：

針對所述第一模態下所述異常細胞在每種縮放尺度下的多張圖像的特征進行平均池化，得到所述異常細胞在每種尺度下的加權融合特征。

8.根據權利要求2所述的方法，其中所述利用所述跨模態融合特征作為全局特征對各個單模態特征進行調整包括：

基于所述跨模態融合特征作為全局特征與所述第一模態下各個尺度的各個圖片的特征進行局部-全局信息融合，得到所述第一模態下各個尺度的各個圖片的局部-全局信息融合特征；

對所述第一模態下各個尺度的各個圖片的局部-全局信息融合特征進行加權平均，得到所述第一模態下各個尺度的經調整特征；以及

基于所述跨模態融合特征作為全局特征對所述第二模態的特征進行調整，得到所述第二模態下的經調整特征。

9.根據權利要求8所述的方法，其中所述基于所述跨模態融合特征作為全局特征對所述第二模態的特征進行調整，得到所述第二模態下的經調整特征包括：

將所述多模態全局特征通過全連接網絡進行計算，并使用Sigmoid激活函數獲得的縮放系數對所述第二模態的特征進行調整，得到所述第二模態下的經調整特征。

10.根據權利要求8所述的方法，其中所述基于經調整的各個單模態特征得到所述多個模態的醫學數據的多模態特征包括：

對所述第一模態下各個尺度的經調整特征和所述第二模態的特征進行拼接，得到所述多個模態的醫學數據的多模態特征。