[發明專利]基于深度圖的新冠肺炎多模態特征提取融合方法及系統

有效

• 申請號: 202010907271.0
• 申請日: 2020-09-02
• 公開（公告）號: CN112434718B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 杜博;熊宇軒
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/25;G06V10/774;G06V10/82;G06F40/289;G06N3/0464;G06T7/11
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于深度圖的新冠肺炎多模態特征提取融合方法，由數據表征和數據融合兩個階段構成，

在數據表征階段，綜合利用CT影像數據和臨床生理指標數據，采用基于圖神經網絡的語義分割模型來提取肺炎感染部位的高級ROI特征，接著將提取到的ROI特征和其他臨床數據轉化為圖的結構，利用圖嵌入技術構建統一的多模態數據表征空間；其中ROI為感興趣區域；

在特征融合階段，基于自注意力機制在醫學影像圖、生理指標圖、醫療報告文本之間進行多模態特征融合和邏輯推理，為新冠肺炎診斷提供數據支撐。

2.根據權利要求1所述基于深度圖的新冠肺炎多模態特征提取融合方法，其特征在于：在數據表征階段，首先進行數據預處理，包括對自然語言文本進行分詞處理，對CT醫療影像進行數據預處理，對結構化數據進行圖數據構造；然后基于圖神經網絡進行高級病灶分割特征提取。

3.根據權利要求2所述基于深度圖的新冠肺炎多模態特征提取融合方法，其特征在于：在數據預處理中，對采集的數據分布進行統計分析，對像素范圍進行裁剪，保留1％到99％之間的像素值，去除異常點，使得圖像有較高的對比度；同時，統計所有圖像體素間距，利用平均體素間距對圖像進行重采樣。

4.根據權利要求2所述基于深度圖的新冠肺炎多模態特征提取融合方法，其特征在于：基于圖神經網絡進行高級病灶分割特征提取，通過U-net網絡提取醫學影像的特征，得到圖像的節點特征矩陣，包括在基于U-net網絡的視覺信息編碼階段實現網絡權值的共享，在解碼階段進行多尺度的融合及跳躍連接將底層的特征信息和高層的特性信息進行融合，從而實現圖像的精準分割。

5.根據權利要求1或2或3或4所述基于深度圖的新冠肺炎多模態特征提取融合方法，其特征在于：在特征融合階段，基于自注意力機制和圖嵌入表征技術對CT影像數據、自然語言數據、結構化生理指標數據進行多模態數據融合。

6.根據權利要求5所述基于深度圖的新冠肺炎多模態特征提取融合方法，其特征在于：在特征融合階段中，基于多模態數據融合網絡，將由語義分割得到的多個ROI特征作為圖中的節點，構建一個圖，從而在各ROI特征之間進行邏輯推理；對結構化臨床數據和流行病學數據，基于相應表的結構，將表中每個樣本的屬性進行向量編碼后作為圖中的節點，將表格信息轉化為另一個圖，從而在各屬性之間進行邏輯推理。

7.一種基于深度圖的新冠肺炎多模態特征提取融合系統，其特征在于：用于實現如權利要求1-6任一項所述的一種基于深度圖的新冠肺炎多模態特征提取融合方法。

8.根據權利要求7所述基于深度圖的新冠肺炎多模態特征提取融合系統，其特征在于：包括以下模塊，

第一模塊，用于綜合利用CT影像數據和臨床生理指標數據，采用基于圖神經網絡的語義分割模型來提取肺炎感染部位的高級ROI特征，接著將提取到的ROI特征和其他臨床數據轉化為圖的結構，利用圖嵌入技術構建統一的多模態數據表征空間；

第二模塊，用于基于自注意力機制在醫學影像圖、生理指標圖、醫療報告文本之間進行多模態特征融合和邏輯推理，為新冠肺炎診斷提供數據支撐。

9.根據權利要求7所述基于深度圖的新冠肺炎多模態特征提取融合系統，其特征在于：包括處理器和存儲器，存儲器用于存儲程序指令，處理器用于調用處理器中的存儲指令執行如權利要求1-6任一項所述的一種基于深度圖的新冠肺炎多模態特征提取融合方法。

10.根據權利要求7所述基于深度圖的新冠肺炎多模態特征提取融合系統，其特征在于：包括可讀存儲介質，所述可讀存儲介質上存儲有計算機程序，所述計算機程序執行時，實現如權利要求1-6任一項所述的一種基于深度圖的新冠肺炎多模態特征提取融合方法。