[發(fā)明專利]基于DCNN?DNN和PV?SVM的多模態(tài)抑郁癥估計和分類方法

在審

• 申請?zhí)枺?/td>: 201710363943.4
• 申請日: 2017-05-22
• 公開（公告）號: CN107133481A
• 公開（公告）日: 2017-09-05
• 發(fā)明（設(shè)計）人: 楊樂;蔣冬梅;夏小涵;裴二成;何浪;趙勇
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G06F19/00
• 分類號: G06F19/00;G06K9/62
• 代理公司: 西北工業(yè)大學(xué)專利中心61204
• 代理人: 劉新瓊

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)和醫(yī)學(xué)結(jié)合領(lǐng)域，采用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)、深度神經(jīng)網(wǎng)絡(luò)(DNN)、段落向量(PV)以及支持向量機(jī)(SVM)模型，涉及一種從聽覺、視覺和文本信息中對抑郁癥進(jìn)行分類的方法。

背景技術(shù)

近年來，人工智能領(lǐng)域已經(jīng)借助機(jī)器學(xué)習(xí)方法，從音頻、視頻出發(fā)建立了多種多樣的抑郁癥檢測系統(tǒng)，來幫助心理學(xué)家進(jìn)行臨床抑郁癥的檢測預(yù)防和治療。在過去的幾年中，通過音視頻信息來進(jìn)行抑郁癥的檢測領(lǐng)域已經(jīng)取得了許多重要的成果。文獻(xiàn)“Decision Tree Based Depression Classification from Audio Video and Language Information,2016 6th AVEC,pp 89-96”公開了一種基于音頻、視頻的多模態(tài)抑郁癥估計，之后結(jié)合文本信息手動建立決策樹對抑郁癥進(jìn)行分類。此方法分為抑郁癥估計和抑郁癥分類兩部分。在抑郁癥估計階段，采用音視頻單模態(tài)對抑郁癥進(jìn)行初步估計，之后又將音視頻的單模態(tài)估計結(jié)果相結(jié)合，進(jìn)行最終的多模態(tài)抑郁癥估計。但是，這種方法在抑郁癥估計階段，受到樣本數(shù)量，特征種類多、針對性差以及模型性能的局限，導(dǎo)致對抑郁癥的估計準(zhǔn)確度低，泛化性差，無法達(dá)到精度要求；在抑郁癥分類階段，此方法采用人工分析文本信息的方法，結(jié)合抑郁癥估計階段的估計值，通過人工建立決策樹，實現(xiàn)抑郁癥的分類。這一階段由于需要人工分析文本信息，因此主觀性大，工作量大，因此此方法具有局限性且難以推廣。

目前研究學(xué)者借助機(jī)器學(xué)習(xí)方法來判斷抑郁癥已經(jīng)取得了一定的成果，然而由于抑郁癥的復(fù)雜性以及個體的差異性，抑郁癥的研究仍然面臨以下挑戰(zhàn)：

1)“多對一”問題。而在抑郁癥研究中，往往是一個樣本(許多幀)對應(yīng)一個抑郁程度。這種多對一的問題導(dǎo)致大量有用的時序信息被丟棄，造成信息浪費。為了彌補(bǔ)信息丟失的缺點，學(xué)者設(shè)計了多種統(tǒng)計方法，這樣產(chǎn)生非常高的特征維度，容易導(dǎo)致過擬合現(xiàn)象。

2)大量有用的信息未被挖掘。目前，較多研究的是通過音視頻來檢測抑郁癥。這種通過音視頻來研究抑郁癥的方法，通常是“內(nèi)容無關(guān)”的方法。而通過文本信息來研究抑郁癥的方法現(xiàn)在還不是很成熟。通常，文本信息中反映了患者的睡眠、生活狀態(tài)等信息，這種“內(nèi)容相關(guān)”的方法目前還沒有被大量挖掘。

綜上所述，現(xiàn)有的抑郁癥檢測方法易受特征維度影響，大量信息未被全面研究，容易造成抑郁癥估計精確度低，抑郁癥檢測分類正確率低。

發(fā)明內(nèi)容

要解決的技術(shù)問題

為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明設(shè)計了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)、深度神經(jīng)網(wǎng)絡(luò)(DNN)、段落向量(PV)以及支持向量機(jī)(SVM)的多模態(tài)抑郁癥估計和分類方法。

技術(shù)方案

1.一種基于DCNN-DNN和PV-SVM的多模態(tài)抑郁癥估計和分類方法，其特征在于

步驟如下：

步驟1：利用位移范圍直方圖和Opensmile工具對音視頻特征進(jìn)行預(yù)處理：將視頻Landmarks特征輸入位移范圍直方圖統(tǒng)計方法中，得到視頻Landmarks特征的全局特征；將音頻LLD特征輸入Opensmile工具提取音頻全局統(tǒng)計信息；

所述的位移范圍直方圖統(tǒng)計方法步驟如下：

首先定義時間間隔M:＝{M₁,M₂,M₃,...,M_x}，范圍R:＝{R₁,R₂,R₃,...,R_z}，視頻Landmarks特征作為位移范圍直方圖統(tǒng)計方法的輸入，x和z分別代表時間間隔和范圍的個數(shù)；

然后，對于每一個時間間隔M_x，計算Landmarks特征每一個維度中，第i+M_x幀與第i幀之間的差值，得到差值矩陣；

最后，統(tǒng)計差值矩陣中每個維度在每個范圍R_z中的分布個數(shù)；將得到的分布個數(shù)除以原始Landmarks特征的總幀數(shù)，得到歸一化后的視頻Landmarks全局特征；

步驟2：利用深度卷積神經(jīng)網(wǎng)絡(luò)提取步驟1中音、視頻統(tǒng)計特征的隱層抽象特征：