[發明專利]基于多模信息智能處理單元的多模信息融合情感分析方法

在審

• 申請號: 202011440100.8
• 申請日: 2020-12-11
• 公開（公告）號: CN112418172A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 毛史清
• 申請（專利權）人: 蘇州元啟創人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/30;G10L25/63
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴

1.基于多模信息智能處理單元的多模信息融合情感分析方法，其特征在于：包括以下步驟：

S1：基于實現多模態融合的情感分析任務的目的，準備數據集；

S2：對數據集預處理，并設置一般性前提，在基于Ekman的六個情感類別中增加一個類別“neutral”；

S3：基于視覺信息提取情感特征：依據靜止圖像，在T0時刻，實體開始在鏡頭前表達情感，并在Tn時刻結束，訓練出一個可以區分“neutral”類和基于Ekman的六個情感類別的情感分類器，專門用于靜態圖像的分類；再建立一個基于視頻切幀的特征向量，將剪輯分成一組單獨的幀，并在這些幀中提取特征，最后在所有視頻幀的情感標簽上使用多數投票來確定視頻流的情感；

S4：基于音頻信息提取情感特征：首先從數據集中的視頻文件中提取音頻信號，然后從音頻信號中提取出長、短時間的音頻特征，其中短時間的音頻特征用于區分信號的時間特征，從每個短時間窗口中提取，緊接著，計算所有時間窗口的均方根值RMS，然后將總和超過頻譜率的快速傅里葉變換FFT記為緊湊型；針對長時間的特征，通過聚合從一個時間窗口內的幾個連續幀中提取的短期特征來生成；

S5：基于文本信息提取情感特征：提出一種情感范式，該情感范式認為文本既表達了語義也表達了情感，首先是構建一個概念詞袋，對于文本中的每個概念，從語義空間中獲得一個100維的特征向量，然后通過坐標求和將單個概念向量聚合成一個文檔級向量，然后求和生成一個標量特征；

S6：融合多模情感特征，將多模信息智能處理單元提取的所有特征向量結合起來，具體是將所有的三種模式的特征向量連接起來，形成一個單一的長特征向量；

S7：構建實時情感分析框架，獲得連續語音段的文本內容，并允許上傳和接收情感視頻，然后顯示每個視頻的情感表達，并作出最終的情感判定。

2.根據權利要求1所述的基于多模信息智能處理單元的多模信息融合情感分析方法，其特征在于：在步驟S3中，所述情感分類器來確定靜態圖像的情緒的七個情感類別，其次利用分類器來確定圖像的基于Ekman的六個情感類別；這兩個區分情感類別的步驟均使用相同的特征集；此外，為了建立一個基于視頻切幀的特征向量，本發明首先將剪輯分成一組單獨的幀，并利用上述方法在這些幀中提取特征，然后將這些圖像分類為包含“neutral”類的七個情感類別中，再利用單個幀的特征向量的坐標平均建立了視頻剪輯特征向量。

3.根據權利要求1所述的基于多模信息智能處理單元的多模信息融合情感分析方法，其特征在于：在步驟S4中，提取出來的音頻特征中，基于短時間的特征從每個短時間窗口中提取期間，音頻信號被假定為平穩的，同時利用短時傅里葉變換STFT計算了梅爾頻譜系數MFCC，首先去震級譜的對數振幅，然后對快速傅里葉變換FFT桶進行分組和平滑，根據感知激勵的Mel頻率縮放，得到最佳的分類結果，光譜質心是STFT的震級譜的重心，質心用于測量光譜形狀，質心的較高值表示頻率較高的較亮紋理；然后將總和超過頻譜率的FFT記為緊湊型；此外還通過時域零交叉評估信號量的噪音；針對長時間的特征，通過聚合從一個時間窗口內的幾個連續幀中提取的短期特征來生成。

4.根據權利要求1所述的基于多模信息智能處理單元的多模信息融合情感分析方法，其特征在于：在步驟S5中，從文本提取出的每個概念的極性分數是在框架中的ScenticNet中得到的，并求和生成一個標量特征；針對否定可以直接改變陳述的語義這一特殊情況，對否定也予以特別的識別，并根據語義逆轉與否標記后面的概念對應的特征的極性。

5.根據權利要求1所述的基于多模信息智能處理單元的多模信息融合情感分析方法，其特征在于：在步驟S6中，還使用了eNTERFACE數據集從多模態內容中檢測情感，充分考慮了數據集中可用的視覺和音頻線索，并融合后獲得與數據相關的情感特征，具體包括：首先從音頻和視頻數據中提取關鍵特征，然后分析音頻和視覺特征之間的交叉模態關系，隨后利用HMM分類器來進行情感識別，并測量記錄連續時間段之間的統計依賴性。