[發明專利]基于深度圖的新冠肺炎多模態特征提取融合方法及系統

有效

• 申請號: 202010907271.0
• 申請日: 2020-09-02
• 公開（公告）號: CN112434718B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 杜博;熊宇軒
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/25;G06V10/774;G06V10/82;G06F40/289;G06N3/0464;G06T7/11
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明公開了一種基于深度圖的新冠肺炎多模態特征提取融合方法及系統，融合過程由數據表征和數據融合兩個階段構成，在數據表征階段，綜合利用CT影像數據和臨床生理指標數據，采用基于圖神經網絡的語義分割模型來提取肺炎感染部位的高級ROI特征，接著將提取到的ROI特征和其他臨床數據轉化為圖的結構，利用圖嵌入技術構建統一的多模態數據表征空間；在特征融合階段，基于自注意力機制在醫學影像圖、生理指標圖、醫療報告文本之間進行多模態特征融合和邏輯推理，為新冠肺炎診斷提供數據支撐。

技術領域

本發明屬于計算機輔助醫學圖像處理領域，涉及基于多模態深度圖推理的新冠肺炎影像特征提取及融合方法。

背景技術

目前，世界各國在新冠肺炎的快速診斷和病情評估方面面臨著急迫的挑戰。一方面，被奉為確診金標準的核酸檢測方法成本較高、假陽性率較高、耗時較長，迅速攀升的感染人數造成了擠兌式的醫療檢測資源短缺問題；另一方面，對于已確診的新冠肺炎患者，缺乏提供有效的實時病情評估數據依據的技術手段，無法有效支持醫護即時針對病情處于不同嚴重程度的病人制定合理的治療措施，從而加速病人的治愈速度、提升治愈率。

CT影像是快速檢測新型冠狀病毒肺炎最有效的影像學手段之一，它具有靈敏度高、操作簡單、普及率高等特點。然而，由于存在大量無癥狀感染者肺部CT影像學表現不明顯、醫院無法為每位患者做到實時CT檢測等問題，怎樣有效利用CT影像，從技術上提供進一步地有效支持，是目前亟待解決的技術問題。

發明內容

針對現有技術存在的不足，本發明提供了一種高效利用多模態醫療檢測數據的基于深度圖認知推理的新冠肺炎特征提取及融合方法。

為解決上述技術問題，本發明采用如下的技術方案：

一種基于深度圖的新冠肺炎多模態特征提取融合方法，由數據表征和數據融合兩個階段構成，在數據表征階段，綜合利用CT影像數據和臨床生理指標數據，采用基于圖神經網絡的語義分割模型來提取肺炎感染部位的高級ROI特征，接著將提取到的ROI特征和其他臨床數據轉化為圖的結構，利用圖嵌入技術構建統一的多模態數據表征空間；

在特征融合階段，基于自注意力機制在醫學影像圖、生理指標圖、醫療報告文本之間進行多模態特征融合和邏輯推理，為新冠肺炎診斷提供數據支撐。

而且，在數據表征階段，首先進行數據預處理，包括對自然語言文本進行分詞處理，對CT醫療影像進行數據預處理，對結構化數據進行圖數據構造；然后基于圖神經網絡進行高級病灶分割特征提取。

而且，在數據預處理中，對采集的數據分布進行統計分析，對像素范圍進行裁剪，保留1％到99％之間的像素值，去除異常點，使得圖像有較高的對比度；同時，統計所有圖像體素間距，利用平均體素間距對圖像進行重采樣。

而且，基于圖神經網絡進行高級病灶分割特征提取，過U-net網絡提取醫學影像的特征，得到圖像的節點特征矩陣，包括在基于U-net網絡的視覺信息編碼階段實現網絡權值的共享，在解碼階段進行多尺度的融合及跳躍連接將底層的特征信息和高層的特性信息進行融合，從而實現圖像的精準分割。

而且，在特征融合階段，基于自注意力機制和圖嵌入表征技術對CT影像數據、自然語言數據、結構化生理指標數據進行多模態數據融合。

而且，在特征融合階段中，基于多模態數據融合網絡，將由語義分割得到的多個ROI特征作為圖中的節點，構建一個圖，從而在各ROI特征之間進行邏輯推理；對結構化臨床數據和流行病學數據，基于相應表的結構，將表中每個樣本的屬性進行向量編碼后作為圖中的節點，將表格信息轉化為另一個圖，從而在各屬性之間進行邏輯推理。

本發明還提供一種基于深度圖的新冠肺炎多模態特征提取融合系統，用于實現如上所述的一種基于深度圖的新冠肺炎多模態特征提取融合方法。

而且，包括以下模塊，