[發(fā)明專利]一種基于多模態(tài)上下文語義特征的情感分類方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110141728.6
• 申請日: 2021-02-02
• 公開（公告）號: CN112818861B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 盧官明;奚晨;盧峻禾
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種基于多模態(tài)上下文語義特征的情感分類方法，其特征在于，包括以下步驟：

(1)將短視頻以話語為單元分割成相同數(shù)量的語義單元，每個語義單元作為一個樣本，并從語義單元中生成對應(yīng)的視頻樣本、語音樣本和文本樣本，并對三類樣本對應(yīng)提取表情特征向量、語譜圖和句子向量三種表征特征；

(2)將每個語義單元的表情特征向量、語譜圖、句子向量分別輸入到表情情感特征編碼器、語音情感特征編碼器、文本情感特征編碼器，提取表情情感語義特征向量、語音情感語義特征向量、文本情感語義特征向量；

所述表情情感特征編碼器，用于將多個時間步上的靜態(tài)表情特征向量進(jìn)行時序關(guān)聯(lián)，輸出動態(tài)表情特征向量；并通過注意力機(jī)制計(jì)算不同時間步上的表情特征向量的重要性權(quán)重，通過加權(quán)融合形成表情情感語義特征向量；

所述語音情感特征編碼器，用于對語譜圖進(jìn)行卷積和池化操作，并將得到的特征圖轉(zhuǎn)換成若干組特征向量；以及通過注意力機(jī)制確定不同特征向量組的重要性權(quán)重，通過加權(quán)融合形成語音情感語義特征向量；

所述文本情感特征編碼器，用于將句子向量轉(zhuǎn)換為若干組特征向量，并通過注意力機(jī)制確定不同特征向量組的重要性權(quán)重，通過加權(quán)融合形成文本情感語義特征向量；

(3)分別使用源自同一個短視頻的視頻樣本、語音樣本、文本樣本的上下文關(guān)系，構(gòu)建相應(yīng)的表情情感語義特征鄰接矩陣、語音情感語義特征鄰接矩陣、文本情感語義特征鄰接矩陣；

(4)分別將表情情感語義特征及其鄰接矩陣、語音情感語義特征及其鄰接矩陣、文本情感語義特征及其鄰接矩陣輸入到對應(yīng)的圖卷積神經(jīng)網(wǎng)絡(luò)，提取表情上下文情感語義特征向量、語音上下文情感語義特征向量、文本上下文情感語義特征向量；

(5)將表情上下文情感語義特征向量、語音上下文情感語義特征向量和文本上下文情感語義特征向量進(jìn)行融合，得到最終的多模態(tài)情感特征向量；

(6)將步驟(5)得到的多模態(tài)情感特征向量輸入到分類器中進(jìn)行情感分類，得到情感類別。

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)上下文語義特征的情感分類方法，其特征在于，所述步驟(2)中的表情情感特征編碼器，包括順序連接的1個長短時記憶網(wǎng)絡(luò)LSTM層和1個注意力機(jī)制模塊；

LSTM層，包含d個輸出神經(jīng)元，用于將T個時間步上的靜態(tài)表情特征向量進(jìn)行時序關(guān)聯(lián)，輸出d維的動態(tài)表情特征向量，其中，d取值為128或256，T取值為32或64；

注意力機(jī)制模塊，用于確定LSTM層在不同時間步上輸出的表情特征向量的重要性權(quán)重，通過加權(quán)融合形成表情情感語義特征向量，其中LSTM層在第t個時間步上輸出的表情特征向量的權(quán)重系數(shù)以及表情情感語義特征向量F^V表示如下：

其中，t＝1,2,…,T，上標(biāo)V代表視頻模態(tài)，f_t^V表示LSTM層在第t個時間步上輸出的d維表情特征向量，exp(·)表示以自然常數(shù)e為底的指數(shù)函數(shù)，W^V為可訓(xùn)練的d維線性變換參數(shù)向量。