[發明專利]基于多模態頸動脈數據的冠心病預測系統

在審

• 申請號: 202210032919.3
• 申請日: 2022-01-12
• 公開（公告）號: CN114464326A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 劉治;胡喜風;李玉軍;曹艷坤;陶可猛
• 申請（專利權）人: 山東大學
• 主分類號: G16H50/70
• 分類號: G16H50/70;G16H50/30;G16H30/20;G06V10/80;G06V10/764;G06V10/82;G06T7/00;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于多模態頸動脈數據的冠心病預測系統，其特征是，包括：

獲取模塊，其被配置為：獲取待預測患者的圖像數據和文本數據；其中，所述圖像數據，是指頸動脈不同模態圖像；

特征提取模塊，其被配置為：對每種模態的圖像提取圖像特征；

文本特征提取模塊，其被配置為：對文本數據提取文本特征；

跨模態融合模塊，其被配置為：將不同模態的圖像特征進行特征融合，得到融合的圖像特征；

預測模塊，其被配置為：將文本特征與融合的圖像特征進行串聯，將串聯后的特征輸入到訓練后的冠心病分類模型中，得到冠心病預測結果。

2.如權利要求1所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述頸動脈不同模態圖像，包括：頸動脈CT圖像和頸動脈MR圖像。

3.如權利要求1所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述文本數據，包括：數字化檢測結果和癥狀描述語言。

4.如權利要求1所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述對每種模態的圖像提取圖像特征，具體通過特征提取網絡進行特征提取；其中，所述特征提取網絡，包括：依次連接的Resnet101主干網絡、通道注意力機制層和卷積層。

5.如權利要求1所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述對文本數據提取文本特征，具體通過BERT編碼器來實現。

6.如權利要求1所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述將不同模態的圖像特征進行特征融合，得到融合的圖像特征；具體采用的特征融合方式為：加權融合。

7.如權利要求6所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述加權融合中，是：

先計算MR圖像的查詢向量Query和鍵向量Key；

然后計算CT圖像的值向量Value；

計算Query和Key的相似度；

將相似度概率化后，作為權重對CT圖像的Value值進行加權求和，得到特征融合結果。

8.如權利要求1所述的基于多模態頸動脈數據的冠心病預測系統，其特征是，所述獲取模塊之后，所述特征提取模塊之前還包括：預處理模塊；

預處理模塊，其被配置為：對獲取的圖像數據和文本數據進行預處理；

對圖像數據進行預處理，是指對圖像進行旋轉處理和鏡像處理增加數據集的數量；

其中，對文本數據進行預處理，是指對文本數據進行過采樣，以增加數據集的數量。

9.一種電子設備，其特征是，包括：

存儲器，用于非暫時性存儲計算機可讀指令；以及

處理器，用于運行所述計算機可讀指令，

其中，所述計算機可讀指令被所述處理器運行時，執行以下步驟：

獲取待預測患者的圖像數據和文本數據；其中，所述圖像數據，是指頸動脈不同模態圖像；

對每種模態的圖像提取圖像特征；

對文本數據提取文本特征；

將不同模態的圖像特征進行特征融合，得到融合的圖像特征；

將文本特征與融合的圖像特征進行串聯，將串聯后的特征輸入到訓練后的冠心病分類模型中，得到冠心病預測結果。

10.一種存儲介質，其特征是，非暫時性地存儲計算機可讀指令，其中，當所述非暫時性計算機可讀指令由計算機執行時，執行以下步驟：

獲取待預測患者的圖像數據和文本數據；其中，所述圖像數據，是指頸動脈不同模態圖像；

對每種模態的圖像提取圖像特征；

對文本數據提取文本特征；

將不同模態的圖像特征進行特征融合，得到融合的圖像特征；

將文本特征與融合的圖像特征進行串聯，將串聯后的特征輸入到訓練后的冠心病分類模型中，得到冠心病預測結果。