[發明專利]一種基于情感對的GIF動畫情感識別方法

有效

• 申請號: 201611128386.X
• 申請日: 2016-12-09
• 公開（公告）號: CN106599824B
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 紀榮嶸;曹冬林;蔡政
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.一種基于情感對的GIF動畫情感識別方法，其特征在于包括以下步驟：

(1)訓練情感對序列檢測子，具體方法為：

(1.1)構建“情感對”模型，在現有“形容詞名詞對”模型的基礎上引入動詞，構成動詞名詞對，專門用來描述GIF視頻中的動作信息；為了表述方便將“形容詞名詞對”和“動詞名詞對”合稱為“情感對”；

(1.2)概念語義體系的構建，只需要WordNet中的形容詞、動詞和名詞三種類型的單詞；其他的副詞、介詞、助詞均被刪除；對提取出的動詞、形容詞和名詞組合為形容詞名詞對和動詞名詞對；

(1.3)概念語義的篩選，在刪除數詞、介詞、副詞和“情感對”無關的概念語義詞之后，還需要從中篩選出符合目標的概念語義項目，所述篩選出符合目標的概念語義項目的具體步驟為：

設計情感豐富度權值，構建過程如下：在SentiWordNet中，每個詞的情感傾向性分為若干個等級，情感豐富度權值的絕對值越大表示情感傾向越強烈；

SentiWeight_i＝|SentiScore_i|

SentiScore就是SentiWordNet中該概念語義的情感得分，情感豐富度權值的取值范圍是[0,1]；

設計語義頻率權值，構建過程如下：在GIF視頻網站Giphy.com中搜索情感詞，統計Giphy.com搜索結果中GIF圖像的數量Count，每一個概念語義的語義頻率權值依據下式得出：

在上式中，Count_i是第i個概念語義在Giphy.com中對應的GIF動畫個數；分母則是全部概念語義對應的GIF動畫個數的最大值；

在得到情感豐富度權值和語義頻率權值后，根據下式計算出一個篩選權值FilterWeight:

篩選權值FilterWeight的取值范圍為[0,1]；

(1.4)基于多任務學習和情感相關性挖掘的“情感對”的檢測，檢測器的輸出是相應“情感對”的概率值，輸入是GIF動畫的視頻幀；檢測之后的結果是一個長向量，該長向量的維度是篩選后“情感對”的個數，該長向量將作為該視頻幀的中間層特征表示；

(2)訓練中層表示到情感傾向的分類器。

2.如權利要求1所述一種基于情感對的GIF動畫情感識別方法，其特征在于在步驟(1)第(1.4)部分中，所述基于多任務學習和情感相關性挖掘的“情感對”的檢測中：

在多任務情感分析中使用的損失函數是交叉熵損失函數，使用KL距離來計算標簽與分類結果之間的相似度；

對于兩個離散型分布P，Q，KL距離用上式進行計算。

3.如權利要求1所述一種基于情感對的GIF動畫情感識別方法，其特征在于在步驟(2)中，所述訓練中層表示到情感傾向的分類器具體包括以下步驟：

(2.1)構建情感對序列；

(2.2)構建基于情感對序列的GIF情感時序分析模型，為了評估情感對序列的有效性，引入了帶長短期記憶單元的循環神經網絡作為時序分析的模型。

4.如權利要求3所述一種基于情感對的GIF動畫情感識別方法，其特征在于在步驟(2)第(2.1)部分中，所述構建情感對序列具體包括以下步驟：

設計一個GIF情感分析時序模型—“情感對序列”，試圖通過將時序信息形式化為概念語義的有序鏈表來解決時序問題；一個“情感對序列”是一組“情感對”構成的向量，為了評價不同長度的視頻，向量的維度是不確定的，向量中的每個值代表一個情感對，而情感對則是從GIF視頻幀中檢測得到的；

SentiPair Sequence＝(SentE₁,SentE₂,...,SentE_n),SentE_i∈{ANP,VNP}

Time(SentE_i)＜Time(SentE_j),i＜j

上式是一個情感對序列的時序表達，SentE_i代表情感對序列中第i個情感對；Time(SentE_i)表示該情感對在GIF視頻中出現的時刻；

當i＜j時，第i個情感對出現在第j個情感對之前。