[發明專利]基于多模態的帕金森病檢測裝置及計算機可讀存儲介質

在審

• 申請號: 202110735163.4
• 申請日: 2021-06-30
• 公開（公告）號: CN113317763A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 彭俊清;王健宗;吳冀平
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: A61B5/00
• 分類號: A61B5/00;A61B5/11
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請實施例屬于人工智能技術，可應用于數字醫療領域，涉及一種基于多模態的帕金森病檢測裝置，包括采集模塊、特征提取模塊、特征融合模塊以及預測模塊，通過該裝置采集測試對象的多種模態信息，分別從多種模態信息中提取出每個模態對應的模態特征，對模態特征進行特征融合得到中間融合特征，并根據中間融合特征得到目標融合特征，并對目標融合特征進行分類，得到分類結果，并根據分類結果進行帕金森病的預測。本申請還提供一種計算機可讀存儲介質。此外，本申請還涉及區塊鏈技術，多種模態信息可存儲于區塊鏈中。本申請提高帕金森病的識別率，從而為醫生的診斷提供了有效的輔助作用。

技術領域

本申請涉及人工智能技術領域以及數字醫療技術領域，尤其涉及一種基于多模態的帕金森病檢測裝置及計算機可讀存儲介質。

背景技術

帕金森病(Paekinson’s disease，PD)又名震顫麻痹，是僅次于阿爾茲海默癥的世界第二大神經系統變性疾病。臨床上以運動遲緩、肌強直、靜止性震顫和姿勢平衡障礙非對稱運動癥狀、聲音障礙等為主要表現。目前，帕金森的診斷仍主要依據其臨床核心癥狀，然而這些核心癥狀也并非帕金森病所有，僅根據病史及臨床表現很難確診。

隨著人工智能的發展，基于計算機輔助診斷(computeraided diagnosis，CAD)的方法給帕金森癥診斷帶來了巨大幫助，其讓神經影像信息的識別能力最大化，能夠從影像數據中提取潛在的有效信息。但是，大多數的輔助診斷系統是基于單模態進行診斷的，然而，由于各個模態所表征的信息不同，不同模態提取的有效信息都不是全面的，因此，單一模態分析在帕金森病檢測中識別率低、魯棒性差。

發明內容

本申請實施例的目的在于提出一種基于多模態的帕金森病檢測裝置及計算機可讀存儲介質，以解決在帕金森病檢測中通過單模態進行分析，識別率低，造成診斷結果準確度低的問題。

為了解決上述技術問題，本申請實施例提供一種基于多模態的帕金森病檢測裝置，采用了如下所述的技術方案：

采集模塊，用于采集測試對象的多種模態信息；

特征提取模塊，用于分別從所述多種模態信息中提取出每個模態對應的模態特征；

特征融合模塊，用于對所述模態特征進行特征融合得到中間融合特征，并根據所述中間融合特征得到目標融合特征；

預測模塊，用于根據所述目標融合特征進行分類，得到分類結果，并根據所述分類結果進行帕金森病的預測。

進一步的，所述多模態信息包括聲紋信息、手繪圖像信息以及步態信息，所述特征提取模塊包括：

聲紋特征提取子模塊，用于從所述聲紋信息中提取出音頻特征；

手繪圖像特征提取子模塊，用于從所述手繪圖像信息中提取出手繪特征；

步態特征提取子模塊，用于從所述步態信息中提取出步態特征。

進一步的，所述特征融合模塊包括：

第一特征融合子模塊，用于對所述音頻特征與所述手繪特征進行特征融合，得到中間融合特征；

第二特征融合子模塊，用于將所述步態特征與所述中間融合特征進行特征融合，得到目標融合特征。

進一步的，所述第一特征融合子模塊包括：

拼接單元，用于拼接所述音頻特征和所述手繪特征，得到拼接特征向量；

第一融合單元，用于對所述拼接特征向量進行特征融合處理，以獲得所述音頻特征和所述手繪特征之間的交互特征作為中間融合特征。

進一步的，所述第二特征融合子模塊包括：

注意力單元，用于將所述步態特征與所述中間融合特征相乘，得到特征矩陣，并根據所述特征矩陣獲取注意力特征；