[發(fā)明專利]基于多模態(tài)的帕金森病檢測裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110735163.4
• 申請日: 2021-06-30
• 公開（公告）號(hào): CN113317763A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 彭俊清;王健宗;吳冀平
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): A61B5/00
• 分類號(hào): A61B5/00;A61B5/11
• 代理公司: 深圳市世聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于多模態(tài)的帕金森病檢測裝置，其特征在于，包括：

采集模塊，用于采集測試對象的多種模態(tài)信息；

特征提取模塊，用于分別從所述多種模態(tài)信息中提取出每個(gè)模態(tài)對應(yīng)的模態(tài)特征；

特征融合模塊，用于對所述模態(tài)特征進(jìn)行特征融合得到中間融合特征，并根據(jù)所述中間融合特征得到目標(biāo)融合特征；

預(yù)測模塊，用于根據(jù)所述目標(biāo)融合特征進(jìn)行分類，得到分類結(jié)果，并根據(jù)所述分類結(jié)果進(jìn)行帕金森病的預(yù)測。

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述多模態(tài)信息包括聲紋信息、手繪圖像信息以及步態(tài)信息，所述特征提取模塊包括：

聲紋特征提取子模塊，用于從所述聲紋信息中提取出音頻特征；

手繪圖像特征提取子模塊，用于從所述手繪圖像信息中提取出手繪特征；

步態(tài)特征提取子模塊，用于從所述步態(tài)信息中提取出步態(tài)特征。

3.根據(jù)權(quán)利要求2所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述特征融合模塊包括：

第一特征融合子模塊，用于對所述音頻特征與所述手繪特征進(jìn)行特征融合，得到中間融合特征；

第二特征融合子模塊，用于將所述步態(tài)特征與所述中間融合特征進(jìn)行特征融合，得到目標(biāo)融合特征。

4.根據(jù)權(quán)利要求3所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述第一特征融合子模塊包括：

拼接單元，用于拼接所述音頻特征和所述手繪特征，得到拼接特征向量；

第一融合單元，用于對所述拼接特征向量進(jìn)行特征融合處理，以獲得所述音頻特征和所述手繪特征之間的交互特征作為中間融合特征。

5.根據(jù)權(quán)利要求3所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述第二特征融合子模塊包括：

注意力單元，用于將所述步態(tài)特征與所述中間融合特征相乘，得到特征矩陣，并根據(jù)所述特征矩陣獲取注意力特征；

第二融合單元，用于將所述注意力特征與所述中間融合特征進(jìn)行融合操作，獲得所述目標(biāo)融合特征。

6.根據(jù)權(quán)利要求5所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述注意力單元還用于：

計(jì)算所述特征矩陣的注意力分布，并根據(jù)所述注意力分布和所述步態(tài)特征相乘，得到所述注意力特征。

7.根據(jù)權(quán)利要求5所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述第二融合單元還用于：

通過卷積操作將所述注意力特征與所述中間融合特征進(jìn)行特征融合，得到注意力融合特征；

采用自注意力機(jī)制對所述注意力融合特征進(jìn)行篩選，得到所述目標(biāo)融合特征。

8.根據(jù)權(quán)利要求7所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述預(yù)測模塊包括：

分類子模塊，用于對所述目標(biāo)融合特征進(jìn)行分類，得到分類結(jié)果；

預(yù)測子模塊，用于根據(jù)所述分類結(jié)果進(jìn)行帕金森病預(yù)測，輸出預(yù)測結(jié)果。

9.根據(jù)權(quán)利要求8所述的基于多模態(tài)的帕金森病檢測裝置，其特征在于，所述預(yù)測子模塊還用于：

根據(jù)所述分類結(jié)果輸出概率預(yù)測向量；

基于所述概率預(yù)測向量得到預(yù)測結(jié)果。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至9中任一項(xiàng)所述的基于多模態(tài)的帕金森病檢測裝置中的各單元和/或模塊的功能。