[發明專利]基于多模態特征的疾病認知系統、設備、存儲介質

在審

• 申請號: 202110063122.5
• 申請日: 2021-01-18
• 公開（公告）號: CN112885334A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 杜登斌;杜小軍;杜樂
• 申請（專利權）人: 吾征智能技術（北京）有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L25/51;G16H50/20
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 李季

1.一種基于多模態特征的疾病認知系統，其特征在于，所述系統包括：

特征提取模塊：獲取多個患者的多種語音信號樣本，提取語音信號樣本的多模態特征；

知識庫模塊：獲取患者語音信號樣本的多模態特征對應的疾病，對疾病知識庫中的語音信號樣本進行預處理，建立疾病知識庫；

模型建立模塊：通過模糊C均值聚類算法對預處理后的語音信號樣本進行聚類分析，得到模態認知模型；

認知評估模塊：用于獲取待處理患者語音信號的多模態特征并預處理，將待處理患者多模態特征輸入所述模態認知模型，得到聚類評估結果，確定疾病認知結果和對應的解決方案，輸出評估報告。

2.根據權利要求1所述基于跨模態醫學生物特征的疾病認知系統，其特征在于，所述多種語音信號樣本包括：呼吸信號、說話信號、咳嗽信號、哭鬧信號、打鼾信號、耳鳴信號、呻吟信號、打嗝信號以及放屁信號；所述語音信號樣本的多模態特征包括聲紋特征與對應的癥狀文本特征，呼吸信號對應的癥狀文本特征包括：平穩呼吸、潮式呼吸、間斷呼吸、深度呼吸、浮淺性呼吸、蟬鳴樣呼吸、鼾聲呼吸；咳嗽信號對應的癥狀文本特征包括：咳聲緊悶、咳聲清脆、咳聲如狗叫、咳聲有力而重濁、咳聲無力、咳聲低微、咳聲嘶啞、咳聲陣作以及咳聲連續。

3.根據權利要求2所述基于跨模態醫學生物特征的疾病認知系統，其特征在于，所述提取語音信號樣本的多模態特征包括：

采用Mel能量聲紋特征提取方法從多種語音信號中提取患者的每一種語音信號樣本的聲紋特征，基于TextRank算法從描述性文本中提取出患者對應的癥狀文本特征。

4.根據權利要求3所述基于跨模態醫學生物特征的疾病認知系統，其特征在于，所述對疾病知識庫中的語音信號樣本進行預處理包括：將語音信號樣本的聲紋特征與對應的癥狀文本特征進行向量化表示，將向量化表示的聲紋特征與對應的向量化表示的癥狀文本特征組合成多模態特征向量。

5.根據權利要求1所述基于跨模態醫學生物特征的疾病認知系統，其特征在于，所述模型建立模塊具體包括：

初始化單元：設疾病知識庫中有n個多模態特征向量x_j(j＝1,2,…,n)，用值在0，1間的隨機數初始化隸屬矩陣U，使隸屬矩陣U中的元素u_ij滿足式中的約束條件；

聚類中心計算單元：用式計算c個聚類中心c_i，i＝1,…,c，m是一個超參數，代表模糊度；

價值計算單元：根據式計算價值函數值，其中J表示價值函數，d_ij＝||c_i-x_j||為第i個聚類中心c_i與第j個數據點x_j間的歐幾里德距離；如果價值函數值小于預設閾值，則算法停止；

U矩陣更新單元：用計算新的U矩陣，輸入聚類中心計算單元。

6.根據權利要求1所述基于跨模態醫學生物特征的疾病認知系統，其特征在于，所述確定疾病認知結果和對應的解決方案具體為：

獲取待處理患者語音信號的多模態特征向量所在的聚類類別，計算待處理患者的多模態特征向量與所在的聚類類別中各個向量的相似度，將相似度最高的向量對應的疾病作為待處理患者的疾病認知結果，疾病知識庫中獲取對應的解決方案。

7.一種電子設備，包括：至少一個處理器、至少一個存儲器、通信接口和總線；

其中，所述處理器、存儲器、通信接口通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令，以實現如權利要求1～6任一項所述的系統。

8.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲計算機指令，所述計算機指令使所述計算機實現權利要求1～6任一項所述的系統。