[發明專利]一種多模態特征融合方法以及應用

在審

• 申請號: 202310274446.2
• 申請日: 2023-03-20
• 公開（公告）號: CN116309456A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 宋雪霏;姜夢達;張海揚;陳鎧之;張慧杰;許嘉爍;夏多金;周慧芳
• 申請（專利權）人: 上海交通大學醫學院附屬第九人民醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/80;G06V10/44;G06V10/25;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明的一個技術方案是提供了一種多模態特征融合方法，其特征在于，將同一個患者的影像深度學習特征featuresubgt;DL/subgt;、多個影像手工特征記以及患者臨床特征featuresubgt;clinic/subgt;進行融合后得到最終的融合特征。本發明的另一個技術方案是提供了一種上述的多模態特征融合方法的應用，其特征在于，應用在治療效果預測中。本發明以卷積神經網絡為基礎，作為圖像特征提取的主干網絡提取得到圖像深度學習特征，與此同時，本發明引入不同ROI區域的手工圖像特征以及患者臨床特征。本發明端到端地融合圖像深度學習特征、手工圖像特征以及患者臨床特征，形成不同模態數據的相同交叉。采用本發明所得到的融合后的特征進行分類判別，可以得到更為準確的預測結果。

技術領域

本發明涉及一種跨模態信息融合方法以及該方法在治療效果預測中的應用。

背景技術

近來，機器學習算法在教育、交通、金融等領域得到越來越廣泛地應用。醫療相關的領域也在積極地使用機器學習技術，在輔助診斷、輔助檢查等方面進行探索。然而目前在輔助診斷、輔助檢查等方面所使用的機器學習技術大多基于單一模態的數據或者單一的感興趣區域(ROI)，而少量的基于融合算法的機器學習技術采用的也是后融合技術，這樣的融合方法缺少不同模態的相同交叉。

發明內容

本發明要解決的技術問題是：現有的應用于醫療相關領域的機器學習技術大多基于單一模態的數據或者單一的感興趣區域，即使采用融合算法，該融合算法也是后融合技術。

為了解決上述技術問題，本發明的一個技術方案是提供了一種多模態特征融合方法，其特征在于，包括以下步驟：

步驟1、獲得患者的醫學影像數據，對醫學影像數據進行感興趣區域的手工勾畫后獲得N個手工ROI數據；

步驟2、建立深度學習網絡模型，由模型對影像數據中的最大ROI截面進行裁剪獲得ROI圖像roi_images后，提取ROI圖像roi_images的特征，從而獲得影像深度學習特征featute_DL；

提取N個手工ROI數據的手工特征，將基于第i個手工ROI數據提取到的影像手工特征記為

基于患者臨床數據直接生成患者臨床特征feature_clinic；

步驟3、將影像深度學習特征feature_DL、影像手工特征記為以及患者臨床特征feature_clinic映射至相同維度；

步驟4、將N個影像手工特征記對應位置相加，得到融合ROI手工特征，則有：

步驟5、將融合ROI手工特征與影像深度學習特征feature_DL進行拼接，得到融合影像特征；

步驟6、將融合影像特征與患者臨床特征feature_clinic對應位置做差，得到距離特征；

步驟7、將融合影像特征與患者臨床特征feature_clinic對應位置做乘，得到內積特征；

步驟8、將距離特征與內積特征進行拼接后得到融合特征。

本發明的另一個技術方案是提供了一種上述的多模態特征融合方法的應用，其特征在于，應用在治療效果預測中，將通過上述的多模態特征融合方法獲得的融合特征輸入訓練好的治療效果分類預測模型，得到最終的分類結果。

本發明以卷積神經網絡為基礎，作為圖像特征提取的主干網絡提取得到圖像深度學習特征，與此同時，本發明引入不同ROI區域的手工圖像特征以及患者臨床特征。本發明端到端地融合圖像深度學習特征、手工圖像特征以及患者臨床特征，形成不同模態數據的相同交叉。采用本發明所得到的融合后的特征進行分類判別，可以得到更為準確的預測結果。