[發明專利]一種基于多模態上下文語義特征的情感分類方法及系統

有效

• 申請號: 202110141728.6
• 申請日: 2021-02-02
• 公開（公告）號: CN112818861B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 盧官明;奚晨;盧峻禾
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

本發明公開了一種基于多模態上下文語義特征的情感分類方法及系統。該方法包括：將短視頻以話語為單位分割成相同數量的語義單元，生成對應的視頻、語音和文本樣本，并提取表情特征、語譜圖和句子向量三種表征特征；將提取的三種表征特征分別輸入到表情、語音、文本情感特征編碼器，提取對應的情感語義特征；分別使用表情、語音、文本情感語義特征的上下文關系，構建相應的鄰接矩陣；分別將表情、語音、文本情感語義特征以及相應的鄰接矩陣輸入對應的圖卷積神經網絡，提取對應的上下文情感語義特征，并融合得到多模態情感特征，用于情感的分類識別。本發明通過圖卷積神經網絡更好地利用情感語義特征的上下文關系，能有效地提高情感分類的準確率。

技術領域

本發明屬于情感計算領域，具體涉及一種基于多模態上下文語義特征的情感分類方法及系統。

背景技術

在人們的日常交流中，情感是人與人之間相互理解的重要橋梁，情感的感知和理解能夠幫助人們理解對方的各種行為和心理狀態。面部表情、語音是人們表達情感的重要方式，針對這些單一模態的情感研究已經日益成熟，并在人們的生活中已經有了一定的應用。但隨著研究的深入，研究人員發現，由于單一模態所表達的情感信息是不完整的，單模態情感分析存在一定的局限性。因此，越來越多的研究人員將目光轉向基于多模態信息融合的情感分類研究，期望能夠利用各個模態信息之間的互補性，來構建魯棒的情感識別模型，以達到更高的情感分類準確率。

隨著智能手機和互聯網的普及，大量用戶通過社交媒體(如微博、抖音、快手等)以文本、短視頻等多種方式來發表自己的觀點，海量社交媒體數據的形態不再局限于單一的文本模態，更多的是融合了文本、圖像、短視頻的多模態數據。社交媒體是各種產品和用戶服務意見的巨大來源，當用戶在網絡上針對某件商品發表評論時，他會不經意地表現出對這種商品的滿意程度，也就是評論過程中表達的情感。對于商家來說，希望盡可能快速地了解用戶群體對商品的態度，以便及時調整營銷策略或者改進商品質量，從而提高用戶對商品的滿意程度。在多種模態數據同時存在的情況下，多模態情感分析在網絡營銷、電子商務、輿情監控、商品推薦等方面有廣闊的應用前景。

如何對多種模態的數據進行融合來提高情感分析的準確率，是目前多模態情感分析的主要問題。現有的方法試圖在不同的階段學習多個模態之間的隱藏關聯，或者分別根據不同模態的信息做出情感預測之后再進行投票融合，在一定程度上解決了相關問題并提升了多模態情感分類性能，但大都忽略了每種模態信息中的上下文依賴關系，沒有考慮視頻中每個話語的上下文信息，仍然存在有待改進的地方。

發明內容

發明目的：針對現有的情感分類技術的缺點，本發明提出了一種基于多模態上下文語義特征的情感分類方法及系統，通過引入各個模態的情感語義特征的上下文依賴關系以及圖卷積操作，提取多模態的上下文情感語義特征，從而有效提升多模態情感分類的準確率。

技術方案：本發明為實現上述發明目的采用以下技術方案：

一種基于多模態上下文語義特征的情感分類方法，包括以下步驟：

(1)將短視頻以話語為單元分割成相同數量的語義單元，每個語義單元作為一個樣本，并從語義單元中生成對應的視頻樣本、語音樣本和文本樣本，并對三類樣本對應提取表情特征向量、語譜圖和句子向量三種表征特征；

(2)將每個語義單元的表情特征向量、語譜圖、句子向量分別輸入到表情情感特征編碼器、語音情感特征編碼器、文本情感特征編碼器，提取表情情感語義特征向量、語音情感語義特征向量、文本情感語義特征向量；

所述表情情感特征編碼器，用于將多個時間步上的靜態表情特征向量進行時序關聯，輸出動態表情特征向量；并通過注意力機制計算不同時間步上的表情特征向量的重要性權重，通過加權融合形成表情情感語義特征向量；

所述語音情感特征編碼器，用于對語譜圖進行卷積和池化操作，并將得到的特征圖轉換成若干組特征向量；以及通過注意力機制確定不同特征向量組的重要性權重，通過加權融合形成語音情感語義特征向量；