[發(fā)明專利]基于多模態(tài)特征的疾病認(rèn)知系統(tǒng)、設(shè)備、存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110063122.5
• 申請(qǐng)日: 2021-01-18
• 公開（公告）號(hào): CN112885334A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 杜登斌;杜小軍;杜樂
• 申請(qǐng)（專利權(quán)）人: 吾征智能技術(shù)（北京）有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L25/51;G16H50/20
• 代理公司: 武漢紅觀專利代理事務(wù)所(普通合伙) 42247
• 代理人: 李季

本發(fā)明公開一種基于多模態(tài)特征的疾病認(rèn)知系統(tǒng)、設(shè)備、存儲(chǔ)介質(zhì)，所述系統(tǒng)包括：特征提取模塊：獲取多個(gè)患者的多種語音信號(hào)樣本，提取語音信號(hào)樣本的多模態(tài)特征；知識(shí)庫模塊：獲取患者語音信號(hào)樣本的多模態(tài)特征對(duì)應(yīng)的疾病，建立疾病知識(shí)庫；模型建立模塊：通過模糊C均值聚類算法對(duì)預(yù)處理后的語音信號(hào)樣本進(jìn)行聚類分析，得到模態(tài)認(rèn)知模型；認(rèn)知評(píng)估模塊：用于將待處理患者多模態(tài)特征輸入所述模態(tài)認(rèn)知模型，得到聚類評(píng)估結(jié)果，確定疾病認(rèn)知結(jié)果和對(duì)應(yīng)的解決方案，輸出評(píng)估報(bào)告。本發(fā)明通過多模態(tài)融合后的醫(yī)學(xué)生物特征進(jìn)行疾病的認(rèn)知和判定，可增加認(rèn)知疾病的效果和能力。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能領(lǐng)域，具體涉及一種基于多模態(tài)醫(yī)學(xué)生物特征的疾病認(rèn)知系統(tǒng)、設(shè)備、存儲(chǔ)介質(zhì)。

背景技術(shù)

人如其聲，語音信號(hào)不僅可以幫助辨別身份，還可以協(xié)助檢查身體健康狀態(tài)，提前洞悉身體所患的疾病，語音信號(hào)的變化已經(jīng)成為其他器官的疾病報(bào)警信號(hào)。例如，說話時(shí)常出現(xiàn)信號(hào)沙啞的現(xiàn)象，并且這種現(xiàn)象正在不斷嚴(yán)重化，同時(shí)還會(huì)伴隨著間歇性呼吸困難。這一系列的問題說明我們的咽喉部位出現(xiàn)了問題，吸煙嚴(yán)重者可能是喉癌的前兆。而現(xiàn)有技術(shù)中并未較好的利用這些醫(yī)學(xué)生物特征進(jìn)行疾病的診斷預(yù)測。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出了基于多模態(tài)特征的疾病認(rèn)知系統(tǒng)、設(shè)備、存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)中未充分利用多模態(tài)醫(yī)學(xué)生物特征進(jìn)行疾病認(rèn)知的不足。

本發(fā)明第一方面，公開一種基于多模態(tài)特征的疾病認(rèn)知系統(tǒng)，所述系統(tǒng)包括：

特征提取模塊：獲取多個(gè)患者的多種語音信號(hào)樣本，提取語音信號(hào)樣本的多模態(tài)特征；

知識(shí)庫模塊：獲取患者語音信號(hào)樣本的多模態(tài)特征對(duì)應(yīng)的疾病，對(duì)疾病知識(shí)庫中的語音信號(hào)樣本進(jìn)行預(yù)處理，建立疾病知識(shí)庫；

模型建立模塊：通過模糊C均值聚類算法對(duì)預(yù)處理后的語音信號(hào)樣本進(jìn)行聚類分析，得到模態(tài)認(rèn)知模型；

認(rèn)知評(píng)估模塊：用于獲取待處理患者語音信號(hào)的多模態(tài)特征并預(yù)處理，將待處理患者多模態(tài)特征輸入所述模態(tài)認(rèn)知模型，得到聚類評(píng)估結(jié)果，確定疾病認(rèn)知結(jié)果和對(duì)應(yīng)的解決方案，輸出評(píng)估報(bào)告。

優(yōu)選的，所述多種語音信號(hào)樣本包括：呼吸信號(hào)、說話信號(hào)、咳嗽信號(hào)、哭鬧信號(hào)、打鼾信號(hào)、耳鳴信號(hào)、呻吟信號(hào)、打嗝信號(hào)以及放屁信號(hào)；所述語音信號(hào)樣本的多模態(tài)特征包括聲紋特征與對(duì)應(yīng)的癥狀文本特征，呼吸信號(hào)對(duì)應(yīng)的癥狀文本特征包括：平穩(wěn)呼吸、潮式呼吸、間斷呼吸、深度呼吸、浮淺性呼吸、蟬鳴樣呼吸、鼾聲呼吸；咳嗽信號(hào)對(duì)應(yīng)的癥狀文本特征包括：咳聲緊悶、咳聲清脆、咳聲如狗叫、咳聲有力而重濁、咳聲無力、咳聲低微、咳聲嘶啞、咳聲陣作以及咳聲連續(xù)。

優(yōu)選的，所述提取語音信號(hào)樣本的多模態(tài)特征包括：

采用Mel能量聲紋特征提取方法從多種語音信號(hào)中提取患者的每一種語音信號(hào)樣本的聲紋特征，基于TextRank算法從描述性文本中提取出患者對(duì)應(yīng)的癥狀文本特征。

優(yōu)選的，所述對(duì)疾病知識(shí)庫中的語音信號(hào)樣本進(jìn)行預(yù)處理包括：將語音信號(hào)樣本的聲紋特征與對(duì)應(yīng)的癥狀文本特征進(jìn)行向量化表示，將向量化表示的聲紋特征與對(duì)應(yīng)的向量化表示的癥狀文本特征組合成多模態(tài)特征向量。

優(yōu)選的，所述模型建立模塊具體包括：

初始化單元：設(shè)疾病知識(shí)庫中有n個(gè)多模態(tài)特征向量x_j(j＝1,2,…,n)，用值在0，1間的隨機(jī)數(shù)初始化隸屬矩陣U，使其中元素u_ij滿足式中的約束條件；

聚類中心計(jì)算單元：用式計(jì)算c個(gè)聚類中心c_i，i＝1,…,c；m是一個(gè)超參數(shù)，代表模糊度；