[發明專利]一種用于多模態情感分類的決策層融合方法

有效

• 申請號: 202110490342.6
• 申請日: 2021-05-06
• 公開（公告）號: CN113326868B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 盧官明;馬銀蓉;盧峻禾
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱楨榮

本發明公開了一種用于多模態情感分類的決策層融合方法，該方法包括：將多模態情感數據集中的樣本分成訓練集和測試集；分別構建各種模態的情感分類模型，使用訓練集中對應模態的樣本分別對各種模態的情感分類模型進行訓練；使用訓練好的各種模態的情感分類模型分別對測試集中對應模態的樣本進行情感分類，統計分類結果，得到各種模態的情感分類混淆矩陣；使用訓練好的各種模態的情感分類模型分別對被測樣本的對應模態進行情感分類；利用分類混淆矩陣對被測樣本的各種模態的情感分類結果進行決策層融合，得到被測樣本的情感類別。本發明充分利用了不同模態信息差異性的先驗知識以及模態之間的互補性，可以有效提升多模態情感分類的準確率和魯棒性。

技術領域

本發明涉及模式識別與情感計算技術領域，特別是一種用于多模態情感分類的決策層融合方法。

背景技術

社交媒體是各種產品和用戶服務意見的巨大來源，當用戶在網絡上針對某件商品發表評論時，他會不經意地表現出對這種商品的滿意程度，也就是評論過程中表 達的情感。對于商家來說，希望盡可能快速地了解用戶群體對商品的態度，以便及 時調整營銷策略或者改進商品質量，從而提高用戶對商品的滿意程度。

以往對情感分類的研究大多集中在通過單一模態的信息來識別人類情感狀態，比如基于語音的情感分類、基于面部表情的情感分類等。由于單一的語音或表情信 息所表達的情感信息是不完整的，且容易受到外界各種因素的影響，例如面部表情 識別容易受遮擋和光照變化的影響，而基于語音的情感分類容易受環境噪音干擾和 不同受試者的聲音差異的影響。所以，單模態情感分類存在準確率低、魯棒性差的 缺點。因此，越來越多的研究人員將目光轉向基于多模態信息融合的情感分類研究， 期望能夠利用各種模態信息之間的互補性，來構建魯棒的情感分類模型，以達到更 高的情感分類準確率。

目前，海量社交媒體數據的形態不再局限于單一的文本模態，更多的是融合了 文本、語音、短視頻的多模態數據。在多種模態數據同時存在的情況下，多模態情 感分類在網絡營銷、電子商務、輿情監控、商品推薦等方面有廣闊的應用前景。

如何將不同模態的信息進行有效的融合是多模態情感分類的關鍵，同時也是多模態情感分類的一大難點。在進行多模態情感分類研究中，比較常用的信息融合策 略有特征層融合和決策層融合。特征層融合是指將多種模態的情感特征組合起來， 形成一個融合特征向量。特征層融合方法考慮了不同模態特征的互補性，但沒有考 慮不同模態特征在情感分類中的差異性。決策層融合通常基于各模態單獨識別的結 果，再依據相關規則，如均值(Mean)規則、求和(Sum)規則、最大值(Max) 規則、少數服從多數的投票表決機制等，做出決策判斷，得到最終的識別結果。相 比之下，決策層融合方法根據不同模態信息的貢獻不同，考慮了不同模態信息的差 異性。當然，基于決策層融合的多模態情感分類性能不僅與單模態的情感分類準確 率有關，還依賴于決策層融合方法的性能。如何確定不同模態情感分類結果的權值， 以體現不同模態在情感分類中的差異性，仍然是面臨挑戰的開放課題。

發明內容

本發明所要解決的技術問題是克服現有技術的不足而提供一種用于多模態情 感分類的決策層融合方法，利用各種模態的情感分類混淆矩陣對被測樣本的相應模 態的情感類別預測概率向量進行加權融合，得到多模態情感類別預測概率向量，可 以有效提升多模態情感分類的準確率和魯棒性。

本發明為解決上述技術問題采用以下技術方案：

根據本發明提出的一種用于多模態情感分類的決策層融合方法，包括以下步驟：

步驟(1)、建立包括m種模態的多模態情感數據集，多模態情感數據集中的樣 本包括第一至第m種模態的樣本，將多模態情感數據集中的樣本分成訓練集和測試 集，其中，m為大于1的整數；

步驟(2)、分別構建m個單模態的情感分類模型，采用訓練集中第s模態的樣 本訓練第s模態的情感分類模型，s＝1,2…m，得到訓練好的第一至第m模態的情感 分類模型；