[發明專利]一種用于多模態情感分類的決策層融合方法

有效

• 申請號: 202110490342.6
• 申請日: 2021-05-06
• 公開（公告）號: CN113326868B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 盧官明;馬銀蓉;盧峻禾
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱楨榮

1.一種用于多模態情感分類的決策層融合方法，其特征在于，包括以下步驟：

步驟(1)、建立包括m種模態的多模態情感數據集，多模態情感數據集中的樣本包括第一至第m種模態的樣本，將多模態情感數據集中的樣本分成訓練集和測試集，其中，m為大于1的整數；

步驟(2)、分別構建m個單模態的情感分類模型，采用訓練集中第s模態的樣本訓練第s模態的情感分類模型，s＝1,2…m，得到訓練好的第一至第m模態的情感分類模型；

步驟(3)、使用訓練好的第s模態的情感分類模型對測試集中第s模態的樣本進行情感分類，統計分類結果，得到第s模態的情感分類混淆矩陣C^(s)，即

其中，代表第i類情感類別的第s模態的樣本被第s模態的情感分類模型判決為第j類情感類別的概率，i＝1,2,…,k，j＝1,2,…,k，k為情感類別總數；

步驟(4)、使用訓練好的第s模態的情感分類模型對被測樣本的第s模態進行情感分類，輸出第s模態的情感類別預測概率向量其中，表示被測樣本第s模態的情感類別為第i類的預測概率，i＝1,2,…,k，上標T表示向量的轉置；

步驟(5)、利用步驟(3)得到各類模態的情感分類混淆矩陣，對被測樣本的各種模態的情感類別預測概率向量進行加權融合，得到被測樣本的情感類別預測相對概率向量，輸出最終的情感類別。

2.根據權利要求1所述的一種用于多模態情感分類的決策層融合方法，其特征在于，步驟(5)具體的步驟如下：

對第s模態的情感分類混淆矩陣C^(s)主對角線上的元素的數值進行歸一化，得到被測樣本的第s模態被判決為第i類情感類別的權重系數

對被測樣本的第一模態至第m模態的情感類別預測概率向量進行加權融合，得到被測樣本的情感類別預測相對概率向量p，即

其中，p_i為第i類情感類別預測相對概率；

比較向量p中每一維度的數值大小，其中數值最大的維度所對應的類別就是被測樣本的情感類別。

3.根據權利要求1所述的一種用于多模態情感分類的決策層融合方法，其特征在于，在步驟(1)中，按照n-折交叉驗證法，將多模態情感數據集中的每一情感類別的樣本隨機均分成n組，每次將其中1組的所有情感類別的樣本構成測試集，剩下的(n-1)組的所有情感類別的樣本構成訓練集，組成1個{訓練集，測試集}組合，重復n次，得到n個不同的{訓練集，測試集}組合，其中，n為取值在2～20之間的正整數。

4.根據權利要求3所述的一種用于多模態情感分類的決策層融合方法，其特征在于，在步驟(2)中，每次用其中1個{訓練集，測試集}組合中的訓練集對各種模態的情感分類模型進行1次訓練，其中，第一模態的情感分類模型用訓練集中第一模態的樣本進行訓練，第二模態的情感分類模型用訓練集中第二模態的樣本進行訓練，……，依此類推，第m模態的情感分類模型用訓練集中第m模態的樣本進行訓練；使用n個不同{訓練集，測試集}組合中的訓練集分別對各種模態的情感分類模型訓練n次，得到n個訓練好的第一模態的情感分類模型、n個訓練好的第二模態的情感分類模型、……、以及n個訓練好的第m模態的情感分類模型。

5.根據權利要求4所述的一種用于多模態情感分類的決策層融合方法，其特征在于，在步驟(3)中，使用n個訓練好的第一模態的情感分類模型分別對相應{訓練集，測試集}組合的測試集中第一模態的樣本進行情感分類，最后對n次分類結果一起進行統計，得到第一模態的情感分類混淆矩陣C⁽¹⁾；使用n個訓練好的第二模態的情感分類模型分別對相應{訓練集，測試集}組合的測試集中第二模態的樣本進行情感分類，最后對n次分類結果一起進行統計，得到第二模態的情感分類混淆矩陣C⁽²⁾；……，依此類推，使用n個訓練好的第m模態的情感分類模型分別對相應{訓練集，測試集}組合的測試集中第m模態的樣本進行情感分類，最后對n次分類結果一起進行統計，得到第m模態的情感分類混淆矩陣C^(m)。