[發明專利]基于DCNN?DNN和PV?SVM的多模態抑郁癥估計和分類方法

在審

• 申請號: 201710363943.4
• 申請日: 2017-05-22
• 公開（公告）號: CN107133481A
• 公開（公告）日: 2017-09-05
• 發明（設計）人: 楊樂;蔣冬梅;夏小涵;裴二成;何浪;趙勇
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F19/00
• 分類號: G06F19/00;G06K9/62
• 代理公司: 西北工業大學專利中心61204
• 代理人: 劉新瓊

1.一種基于DCNN-DNN和PV-SVM的多模態抑郁癥估計和分類方法，其特征在于步驟如下：

步驟1：利用位移范圍直方圖和Opensmile工具對音視頻特征進行預處理：將視頻Landmarks特征輸入位移范圍直方圖統計方法中，得到視頻Landmarks特征的全局特征；將音頻LLD特征輸入Opensmile工具提取音頻全局統計信息；

所述的位移范圍直方圖統計方法步驟如下：

首先定義時間間隔M:＝{M₁,M₂,M₃,...,M_x}，范圍R:＝{R₁,R₂,R₃,...,R_z}，視頻Landmarks特征作為位移范圍直方圖統計方法的輸入，x和z分別代表時間間隔和范圍的個數；

然后，對于每一個時間間隔M_x，計算Landmarks特征每一個維度中，第i+M_x幀與第i幀之間的差值，得到差值矩陣；

最后，統計差值矩陣中每個維度在每個范圍R_z中的分布個數；將得到的分布個數除以原始Landmarks特征的總幀數，得到歸一化后的視頻Landmarks全局特征；

步驟2：利用深度卷積神經網絡提取步驟1中音、視頻統計特征的隱層抽象特征：

Cxj=Σi=1n(fx,i×Inputij)+bxj---(1)]]>

Sx+1k=F(H(Cx)×wx+1k+bx+1k)---(2)]]>

式(1)中，代表輸入的音、視頻特征，f_x,i代表卷積模板，n代表卷積模板中元素個數，代表卷積后的抽象特征，表示為對得到的抽象特征進行pooling；式(2)中，H(·)函數代表一種函數變換，F(·)函數代表ReLU激活函數，如公式(3)所示，代表權重信息；(1)式和(2)式中和分別為偏置，j和k代表位置塊信息；

σ(z)＝max(0,z)(3)

以患者真實的PHQ-8得分為DCNN模型的監督信息，通過重復(1)式和(2)式過程，進行DCNN模型的訓練；將音頻和視頻特征輸入訓練好的DCNN模型中進行一次前向過程，并將倒數第二層隱層數據取出，作為初級音頻視頻特征的隱層抽象特征；

步驟3：利用深度神經網絡DNN進行抑郁癥估計：將步驟2中得到音頻、視頻的隱層抽象特征作為DNN網絡的輸入，以標準PHQ-8得分為監督信息，進行單模態DNN模型的訓練，用訓練好的單模態DNN模型進行新樣本的PHQ-8得分估計，從而得到音頻和視頻的單模態抑郁癥PHQ-8得分估計，然后采用決策融合的方法將音頻和視頻的單模態PHQ-8得分輸入另一個DNN模型中，再次以標準PHQ-8得分為監督信息，進行多模態DNN模型的訓練，最終利用這個多模態DNN模型進行新樣本的PHQ-8得分估計；其中單模態和多模態中的兩個DNN網絡中每層的激活函數都采用ReLU函數；

步驟4：利用段向量PV方法進行文本信息的高維特征映射：段向量框架共包含兩個步驟：訓練字典中的詞向量W以及段向量D；

在第一個階段中，從日常交流用語中提取詞序列w₁,w₂,w₃,...,w_n以及段落序列p₁,p₂,p₃,...,p_m，n和m分別表示字典中詞的個數和段落的個數；每個單詞被表示為一個向量每個段落被表示為得到段落向量模型的目標是最大化式(4)的似然概率：

1nΣt=kn-klog p(wt|wt-k,...,wt+k)---(4)]]>

其中，k是1到n中的某個數，概率p通過一個softmax函數得到：

p(wt|wt-k,...,wt+k)=eywtΣieyi---(5)]]>

上式中y_i是關于W和D的函數，計算方法如下：

y＝b+Uh(w_t-k,...,w_t+k；W,D)(6)

其中，U和b是softmax參數；

在第二階段，將W,U,b固定，在D中加入反映患者生活狀態的文本的id信息，同時使用梯度下降法進行這些新加入的文本的推理過程；最終得到段落向量D'，即反映患者生活狀態的文本的高維特征表示；

步驟5：將步驟4中得到的高維特征表示輸入SVM中進行SVM訓練，用訓練好的SVM模型進行二分類：更趨向抑郁癥的特征表現將被劃分為1，否則將被劃為0類；

步驟6：將步驟3中得到的多模態PHQ-8得分與步驟5中得到的0、1分類結果串接后輸入隨機森林Random Forests模型進行訓練，用訓練好的隨機森林Random Forests模型實現最終抑郁癥的分類任務，即抑郁或非抑郁。