[發(fā)明專利]一種基于決策融合的多模態(tài)情感分類方法

在審

• 申請?zhí)枺?/td>: 202210724880.1
• 申請日: 2022-06-24
• 公開（公告）號: CN115205930A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設計）人: 劉博;季新嬋;王慧娜;李金夢;朱念
• 申請（專利權）人: 北京工業(yè)大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06K9/00;G06V10/80
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于決策融合的多模態(tài)情感分類方法，其特征在于，包括以下步驟：

步驟1、獲取數據集；獲取一組多模態(tài)數據和對應標簽數據，多模態(tài)數據包括音頻、圖像或/和文本類型，且各模態(tài)數據之間互相對應；

步驟2、多模態(tài)數據特征提取；對原始各模態(tài)數據，根據數據類型選擇不同的方式進行特征提取；

步驟3、構建多模態(tài)數據特征集；提取到多模態(tài)特征后，采用基于統(tǒng)計學的方法對其從單變量分析與多變量分析兩個方面進行特征篩選，從而獲取各個單模態(tài)數據中有意義的特征；

步驟4、將步驟3得到的各單模態(tài)特征集與標簽輸入支持向量機SVM、決策樹、隨機森林、邏輯回歸模型進行訓練，得到分類準確率最高的子分類器并保存；

步驟5、對獲取的各子分類器進行決策級別的融合，將各子分類器的當前準確率與歷史累計損失均納入考慮，來綜合比較各個子分類器的性能與穩(wěn)定性，采用一種權重自學習的方式訓練各個子分類器的權重。

2.根據權利要求1所述的方法，其特征在于，步驟2具體包含以下步驟：

步驟2.1、對于獲取的原始音頻數據，對其進行特征提取；使用協同語音分析庫COVAREP，從音頻中提取梅爾倒譜系數MFCCs、音高跟蹤和濁音/清音分割特征、聲門源參數、峰值斜率參數和最大色散商特征；

步驟2.2、對于獲取的原始圖像數據，對其進行特征提取；使用面部動作編碼系統(tǒng)FACS來進行面部表情的特征提取，包括面部標記、面部動作單元、頭部姿勢和視線軌跡；

步驟2.3、對于獲取的原始文本數據，對其使用基于Transformer的雙向編碼器表征BERT來進行特征提取；

作為備選，模態(tài)數據中若包含視頻數據，對其從音頻、圖像、文本三個方面按以上步驟2.1-2.3來進行特征提取。

3.根據權利要求1所述的方法，其特征在于，，步驟3具體包含以下步驟：

步驟3.1、對于特征值均為數值的模態(tài)數據，對其進行標準化處理，將其中的每一個特征結合患者類別信息，使用一種基于信噪比的指標來對每一個特征進行度量，認為信噪比值越大，則該特征越重要；信噪比計算公式為：

式中代表第n個特征的信噪比值，m表示類別數，μ_i(f_n)和μ_j(f_n)表示特征f_n在第i類和第j類的平均值，δ_i(f_n)和δ_i(f_n)分別表示特征f_n在第i類和第j類的標準差，式代表比較總次數；

根據得到的每個特征的SNR，選SNR0.6的特征進行特征間的相關性分析；對于相關性高于0.6的兩個特征，選擇其中方差更小的一個刪除；

步驟3.2、對于特征值為等級或類別等非數值類型的特征，對其實行基于分類類別的卡方分析和費希爾fisher檢驗，選擇在兩種統(tǒng)計分析結果中在不同類別均有顯著性差異、p值均小于0.05的特征作為最終特征；

步驟3.3、對各模態(tài)數據進行整合，并對非數值類型的特征進行one-hot獨熱編碼。

4.根據權利要求1所述的方法，其特征在于，，步驟5具體包含以下步驟：

步驟5.1、對各個子分類器的權重進行初始化，設置為w_i＝1/k，w_i代表第i個子分類器的權重，k為子分類器個數；對損失進行初始化，loss_i＝0，loss_i代表第i個子分類器的累計損失；

步驟5.2、對于有n個樣本的集合X＝{x₁,x₂,...,x_n}，每次取x_j∈X，將x_j的k類特征分別輸入k個子分類器，得出每個子分類器在每一個類別上的概率分數；表示第i個子分類器在類別q上的預測分數，計算樣本x_j在k個子分類器的屬于類別q的加權預測分數，并獲取各類別加權分數集合：

WS＝{WS₁,WS₂,...WS_m}

其中，WS_q為樣本x_j在k個子分類器上預測結果屬于類別q的加權分數，w_i代表第i個子分類器的當前權重；WS為樣本x_j在k個子分類器上屬于各個類別的加權分數集合，其中，m表示類別數；

獲得最大預測分數所屬類別，即加權融合后的模型的預測結果：

y＝argmax{WS}

其中，argmax()函數實現獲取集合中最大值的索引，此處即可獲得最大預測分數所屬類別；

步驟5.3、判斷得到的類別標簽是否與真實標簽一致，如果一致，則分類正確，繼續(xù)下面的步驟；否則分類錯誤，舍棄當前樣本，返回步驟5.2進行下一個樣本的迭代；

步驟5.4、對于上述分類結果錯誤的l個分類器，進行權重更新，給予懲罰：

其中，n為訓練的總樣本數，l為錯分的子分類器數；

對于上述分類結果正確的子分類器，更新累計損失：

其中，表示第i個子分類器在預測類別y上的預測分數；

之后根據累計損失從小到大排序，對前l(fā)個分類器，進行權重更新，給予獎勵：

其中，n為訓練的總樣本數，l為錯分的子分類器數；

步驟5.5、返回步驟5.2，開始對下一個樣本進行上述操作，直至遍歷完成所有樣本，得到最終各個子分類器的最終權重并保存。