[發(fā)明專(zhuān)利]一種基于圖神經(jīng)網(wǎng)絡(luò)的視頻情感語(yǔ)義分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110676126.0
• 申請(qǐng)日: 2021-06-18
• 公開(kāi)（公告）號(hào): CN113392781A
• 公開(kāi)（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 孫善寶
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東浪潮科學(xué)研究院有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N3/04
• 代理公司: 濟(jì)南泉城專(zhuān)利商標(biāo)事務(wù)所 37218
• 代理人: 李桂存

本發(fā)明提供了一種基于圖神經(jīng)網(wǎng)絡(luò)的視頻情感語(yǔ)義分析方法，充分考慮視頻中人物個(gè)體的情感受到其關(guān)注的相關(guān)人物及物體影響的特點(diǎn)，利用深度學(xué)習(xí)技術(shù)，構(gòu)建視頻中人物與人物之間、人物與物體之間的圖結(jié)構(gòu)關(guān)聯(lián)關(guān)系，同時(shí)結(jié)合經(jīng)典深度學(xué)習(xí)的3D卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取情感特征，利用圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)合當(dāng)前人物與人物之間關(guān)系和人物與物體之間的關(guān)聯(lián)關(guān)系圖結(jié)構(gòu)，能更加準(zhǔn)確的判斷目標(biāo)人物的真實(shí)情感狀態(tài)。采用先快速建模人物關(guān)系及人物與物體關(guān)系，再進(jìn)行視頻深度情感分析的方式，對(duì)于偵訊、面試、面簽等個(gè)性化場(chǎng)景，能達(dá)到更好的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于圖神經(jīng)網(wǎng)絡(luò)的視頻情感語(yǔ)義分析方法，屬于圖神經(jīng)網(wǎng)絡(luò)、情感分析和機(jī)器視覺(jué)技術(shù)領(lǐng)域。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,以及互聯(lián)網(wǎng)和云計(jì)算時(shí)代海量數(shù)據(jù)和高效計(jì)算能力的支撐，以CNN卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)，通過(guò)訓(xùn)練構(gòu)建得到類(lèi)似人腦結(jié)構(gòu)的大規(guī)模神經(jīng)網(wǎng)絡(luò)，在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言理解等領(lǐng)域取得了突破性進(jìn)展，將會(huì)給整個(gè)社會(huì)帶來(lái)顛覆性的變化，已經(jīng)成為未來(lái)各國(guó)重要的發(fā)展戰(zhàn)略。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在文本和圖像領(lǐng)域帶來(lái)提升，但是它僅能處理歐氏空間數(shù)據(jù)。圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN)是一種能對(duì)圖數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的方法，包括各類(lèi)神經(jīng)網(wǎng)絡(luò)在圖上應(yīng)用的模型。圖是一種由若干個(gè)結(jié)點(diǎn)(Node)及連接兩個(gè)結(jié)點(diǎn)的邊(Edge)所構(gòu)成的圖形，用于刻畫(huà)不同結(jié)點(diǎn)之間的關(guān)系。圖數(shù)據(jù)作為一種非歐空間數(shù)據(jù)，因其普遍存在性逐漸受到關(guān)注。圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network, GCN)是一類(lèi)采用圖卷積的神經(jīng)網(wǎng)絡(luò)，作為圖神經(jīng)網(wǎng)絡(luò)中的一種重要的分支，在計(jì)算機(jī)視覺(jué)領(lǐng)域已經(jīng)體現(xiàn)出了優(yōu)勢(shì)。

視頻情感分析是視頻理解任務(wù)中的一個(gè)重要的研究方向，通過(guò)對(duì)視頻分析發(fā)現(xiàn)畫(huà)面中人物的情感狀態(tài)，目前已經(jīng)在人機(jī)交互、面試面簽、醫(yī)療診斷、機(jī)器人制造、偵查審訊等領(lǐng)域有重要的應(yīng)用價(jià)值。Ekman和Friesen構(gòu)建了離散分類(lèi)模型，定義了6種基本情感，生氣anger，厭惡disgust，害怕fear，開(kāi)心happiness，傷心sadness和驚奇surprise，之后輕蔑contempt被加入到基本情感中。隨著業(yè)務(wù)場(chǎng)景的不斷變化，在實(shí)際業(yè)務(wù)中需要分析出視頻中個(gè)體更深層次的情緒，揭開(kāi)人物的表面情感，找到個(gè)體真實(shí)的情感狀態(tài)，以滿(mǎn)足新場(chǎng)景個(gè)性化的需求。在這種情況下，通過(guò)對(duì)視頻人與人、人與物體的關(guān)系建模，有效利用圖神經(jīng)網(wǎng)絡(luò)，結(jié)合CNN卷積神經(jīng)網(wǎng)絡(luò)分析視頻人物的情緒特征，更加準(zhǔn)確的判斷出個(gè)體的情感狀態(tài)成為亟須解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明目的是提供了一種基于圖神經(jīng)網(wǎng)絡(luò)的視頻情感語(yǔ)義分析方法，不僅能更加準(zhǔn)確的判斷目標(biāo)人物的真實(shí)情感狀態(tài)，而且處理效率更高，時(shí)效性強(qiáng)。

本發(fā)明為實(shí)現(xiàn)上述目的，通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

a）構(gòu)建視頻中人物與人物之間、人物與物體之間的圖結(jié)構(gòu)關(guān)聯(lián)關(guān)系，

b）通過(guò)目標(biāo)檢測(cè)識(shí)別出視頻中的人物和物體，

c）在視頻情感分析中，基于識(shí)別出的人物，通過(guò)3D-CNN三維卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取視頻中的情感數(shù)據(jù)，

d）利用圖卷積操作，結(jié)合當(dāng)前人物與人物之間關(guān)系和人物與物體之間的關(guān)聯(lián)關(guān)系圖結(jié)構(gòu)，判斷目標(biāo)人物的真實(shí)情感狀態(tài)。

優(yōu)選的，所述步驟a的具體步驟如下：

步驟101、根據(jù)目標(biāo)研究領(lǐng)域場(chǎng)景的需求，設(shè)計(jì)人物情感種類(lèi)，設(shè)計(jì)人物之間的關(guān)系以及人物與物體之間的關(guān)系；

步驟102、收集本領(lǐng)域場(chǎng)景大量視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，基于通用的目標(biāo)檢測(cè)模型，針對(duì)標(biāo)注數(shù)據(jù)集中感興趣的人物和物體類(lèi)別，訓(xùn)練所述的目標(biāo)檢測(cè)模塊ObjDet，得到目標(biāo)檢測(cè)模型；

步驟103、對(duì)于視頻數(shù)據(jù)進(jìn)行人物情感類(lèi)別標(biāo)注，設(shè)計(jì)所述的人物情感特征提取器PFExtract和所述的情感分類(lèi)器Classifier的網(wǎng)絡(luò)結(jié)構(gòu)，并將二者聯(lián)合起來(lái)利用標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，得到PFExtract模型和Classifier模型；