[發明專利]一種基于門控融合和多任務學習的視頻情感分類方法

在審

• 申請號: 202210732914.1
• 申請日: 2022-06-27
• 公開（公告）號: CN115203409A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 孫新;任翔渝;李瑾儀
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 許天易

本發明從視頻提取出文本、圖片和音頻的特征向量；用GRU對各模態的特征向量編碼得到各模態特定維度的向量表示；用帶門機制的Transformer將各模態信息進行融合并將融合向量拼接作為多模態向量表示；用LSTM和全連接網絡對各模態的特征向量編碼得到各模態轉換的向量表示；用多模態向量表示、各模態轉換的向量表示和多模態情感標簽計算得到單模態情感標簽；結合多模態情感標簽和單模態標簽進行多任務學習，同時進行多模態情感分類、單模態情感分類。本發明提供的視頻情感分類方法使用融合后的多模態向量表示參與生成單模態標簽，提高了單模態標簽的準確度；還采用多任務學習的方式，同時進行多模態情感分類和單模態情感分類，提升了視頻情感分類的效果。

技術領域

本發明涉及自然語言處理和深度學習技術領域，特別涉及一種基于門控融合和多任務學習的視頻情感分類方法。

背景技術

隨著網絡的飛速發展，在嗶哩嗶哩、抖音、快手等視頻網站上，很多用戶通過錄制視頻來將自己的觀點分享在上面，例如有的用戶會在B站上傳視頻分享某些商品的使用體驗。在這種情況下，用戶急需一種可以得到視頻發布者情感極性的方法，以進行對商品的評判，讓其他用戶可以以此決定是否購買此商品。不同的視頻片段可能表達不同的情感，且視頻的數量隨著時間的推移急劇增長，使用人力進行對情感極性的分析是不現實的。因此，如何從多模態形式的數據中挖掘出蘊含的情感已經成為亟待解決的問題。

每一種信息的來源或形式，都可以稱為模態，而從視頻分離出的文本、圖片和音頻構成了現實當中最常見的三種模態，隨著網絡上的多模態內容地不斷增長，多模態情感分類的任務應運而生。視頻情感分類是多模態情感分類中的一種，是從視頻中分離出文本模態、圖像模態和音頻模態，并分別對三個模態進行特征提取，然后使用深度神經網絡對三個模態進行融合，最終進行情感分類的過程。視頻情感分類作為多模態情感分類的核心組成部分，有著重要的意義，逐漸成為近幾年的研究熱點。

現有的視頻情感分類方法例如Yu等人提出的Self-MM模型和Junyan等人提出的SPT模型，Self-MM模型使用自監督的生成策略去生成單模態的標簽而無需人為標注，解決了大多數據集無法進行多任務學習的缺點，使得模型的泛化能力得到提升。但是Self-MM模型在生成單模態標簽時，其多模態全局表征向量僅僅來源于三個模態向量的簡單拼接，并不是經過深層次編碼的多模態信息，使得生成的單模態標簽準確度不高，這也限制了情感分類的效果。SPT模型通過參數共享和因式分解等手段降低了參數量，提高了模型的實用性。但僅僅關注模態之間的融合交互，忽略了單模態的信息，致使融合后的信息不完整，一定程度上限制了情感分類的效果。

發明內容

為了解決現有視頻情感分類方法往往只關注模態的融合交互，忽略單模態的信息，沒有充分考慮模態間的一致性和差異性的問題，本發明提供了一種基于門控融合和多任務學習的視頻情感分類方法及系統。

為實現上述目的，本發明提出一種基于門控融合和多任務學習的視頻情感分類方法，所述方法包括：

輸入視頻，通過情感分類模型，獲得情感分類，其中，情感分類模型包括特征提取模塊、GRU網絡、基于帶門機制的多模態Transformer架構、LSTM和第三全連接網絡、單模態標簽生成模塊、多任務學習網絡和訓練模塊，情感分類模型的訓練方法包括：

S1、將輸入情感分類模型的視頻傳送到特征提取模塊，特征提取模塊對視頻進行分離得到多模態數據，然后提取并轉化多模態數據特征為多模態初始特征向量；

S2、將多模態初始特征向量輸入GRU網絡，獲得維度為Z的若干第一單模態特征向量；

S3、將第一單模態特征向量輸入基于帶門機制的多模態Transformer架構，生成模態融合向量，模態融合向量拼接后得到多模態最終向量表示；

S4、將多模態初始特征向量輸入LSTM和第一全連接網絡，生成維度為Z的第二單模態向量表示；