[發明專利]一種基于圖神經網絡的視頻情感語義分析方法

在審

• 申請號: 202110676126.0
• 申請日: 2021-06-18
• 公開（公告）號: CN113392781A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 孫善寶
• 申請（專利權）人: 山東浪潮科學研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 李桂存

1.一種基于圖神經網絡的視頻情感語義分析方法，其特征在于，包括以下步驟：

a）構建視頻中人物與人物之間、人物與物體之間的圖結構關聯關系，

b）通過目標檢測識別出視頻中的人物和物體，

c）在視頻情感分析中，基于識別出的人物，通過3D-CNN三維卷積神經網絡來提取視頻中的情感數據，

d）利用圖卷積操作，結合當前人物與人物之間關系和人物與物體之間的關聯關系圖結構，判斷目標人物的真實情感狀態。

2.根據權利要求1的所述的基于圖神經網絡的視頻情感語義分析方法，其特征在于，所述步驟a的具體步驟如下：

步驟101、根據目標研究領域場景的需求，設計人物情感種類，設計人物之間的關系以及人物與物體之間的關系；

步驟102、收集本領域場景大量視頻數據進行數據標注，基于通用的目標檢測模型，針對標注數據集中感興趣的人物和物體類別，訓練所述的目標檢測模塊ObjDet，得到目標檢測模型；

步驟103、對于視頻數據進行人物情感類別標注，設計所述的人物情感特征提取器PFExtract和所述的情感分類器Classifier的網絡結構，并將二者聯合起來利用標注數據進行訓練，得到PFExtract模型和Classifier模型；

所述的人物情感特征提取器PFExtract采用3D-CNN作為核心網絡，用于提取視頻中人物的情感特征，形成特征向量；

所述的情感分類器Classifier的核心是線性分類器，利用所述的人物情感特征提取器PFExtract形成的特征，判斷情感狀態分類。

3.根據權利要求2的所述的基于圖神經網絡的視頻情感語義分析方法，其特征在于，所述步驟b的具體步驟如下：

步驟201、根據設定人物關系，基于視頻目標檢測識別得到的人物，形成人物關系圖結構數據集，訓練所述的人物關系生成器PRGen，得到人物關系圖結構生成模型；

所述的人物關系圖結構是指視頻中涉及的相關人物的圖關系結構（V，E），其中V表示人物，E表示人物與人物之間的關系，人物特征采用d維向量格式表示；

所述的人物關系生成器PRGen負責將識別出的人物形成人物基礎關系圖結構，用于描述主要目標人物之間的關系；

步驟202、根據設定人物和物體關系，基于視頻目標檢測識別得到的人物和物體，形成人物與物體關系圖結構數據集，訓練所述的人物與物體關系生成器PAORGen，得到人物與物體關系圖結構生成模型；

所述的人物與物體關系生成器PAORGen負責將識別出的人物與物體形成人物與物體基礎關系圖結構，用于描述主要目標人物與感興趣的物體之間的關系。

4.根據權利要求3的所述的基于圖神經網絡的視頻情感語義分析方法，其特征在于，所述步驟c的具體步驟如下：

步驟301、基于人物情感特征提取器PFExtract提取的人物情感特征向量、人物關系圖結構和人物與物體關系圖結構，聯合所述的圖卷積情感生成器GCNGen和所述的情感判別器MDTR進行訓練，得到圖卷積情感生成器模型和情感判別器模型；

步驟302、基于所述的圖卷積情感生成器GCNGen產生的情感特征向量，結合現有人物關系圖結構，所述的人物關系調整器PRTuning，使得人物關系圖結構調整符合圖卷積情感生成器產生的情感特征；

所述的人物關系調整器PRTuning根據當前視頻段識別出的人物關系，結合前面場景輸出的圖卷積情感特征向量，對現有的人物關系圖結構進行調整更新；

步驟303、基于所述的圖卷積情感生成器GCNGen產生的情感特征向量，結合現有人物與物體關系圖結構，所述的人物與物體關系調整器PAORTuning，使得人物與物體關系圖結構調整符合圖卷積情感生成器產生的情感特征；

所述的人物與物體關系調整器PAORTuning根據當前視頻段識別出的人物與物體的關系，結合前面場景輸出的圖卷積情感特征向量，對現有的人物與物體關系圖結構進行調整更新；

步驟304、將步驟101至步驟108訓練形成的模型進行組合，用于視頻情感語義分析判斷。

5.根據權利要求4的所述的基于圖神經網絡的視頻情感語義分析方法，其特征在于，所述步驟d的具體步驟如下：

步驟401、將視頻進行分段，利用所述的目標檢測ObjDet模塊提取其中的人物和物體，基于識別結果形成人物集合和物體集合，經過所述的人物關系生成器PRGen和所述的人物與物體關系生成器PAORGen，形成人物基礎關系圖結構和人物與物體基礎關系圖結構；

步驟402、針對步驟110形成的兩個關系圖結構進行裁剪，根據已知知識進行微調，選擇關注的人物和物體，作為視頻情感語義分析的初始關系圖結構；

步驟403、利用所述的目標檢測ObjDet模塊，重新對視頻進行目標檢測，按照設定的時間間隔，獲取本段視頻的人物和物體，并通過所述的人物情感特征提取器PFExtract獲取視頻片段中出現人物的情感特征向量feV；

步驟404、將人物情感特征提取器PFExtract提取的人物情感特征向量feV集合、人物關系圖結構和人物與物體關系圖結構輸入到所述的圖卷積情感生成器GCNGen中，得到經過圖卷積的情感特征向量emV；

步驟405、將經過圖卷積的情感特征向量輸入到所述的情感判別器MDTR中，輸出人物在當前視頻片段的情感狀態；

步驟406、獲取下一段視頻，識別本段視頻的人物和物體，基于上一段視頻的所述的圖卷積情感生成器GCNGen輸出的圖卷積的情感特征向量emV，將本段視頻的人物和物體、情感特征向量emV和人物關系圖結構輸入到所述的人物關系調整器PRTuning，更新人物關系圖結構，將本段視頻的人物和物體、情感特征向量emV和人物與物體關系圖結構輸入到所述的人物關系調整器PAORTuning，更新人物與物體關系圖結構；

步驟407、通過所述的人物情感特征提取器PFExtract獲取視頻片段中出現人物的情感特征向量feV，轉到步驟113；

步驟408、重復步驟110至步驟116，持續輸出視頻人物情感狀態；

步驟409、持續收集在判定視頻情感過程中的數據，同時對輸出結果正確性進行反饋，用于模型的持續優化。