[發(fā)明專利]一種場景級上下文感知的情感識別深度網(wǎng)絡(luò)方法

有效

• 申請?zhí)枺?/td>: 202010664287.3
• 申請日: 2020-07-10
• 公開（公告）號: CN111985532B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 孫強;張龍濤
• 申請（專利權(quán)）人: 西安理工大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 寧文濤

本發(fā)明公開了場景級上下文感知的情感識別深度網(wǎng)絡(luò)方法，通過讀取訓(xùn)練樣本集X_in身體標注值與原始情感標注值，得到身體部位圖像集X_B；對X_in和X_B歸一化處理后分別送入上、下層卷積神經(jīng)網(wǎng)絡(luò)，提取情感特征T_F和上下文情感特征T_C，將T_F和T_C分別送入上、下層自適應(yīng)層得到融合權(quán)重λ_F和λ_C，將T_F、T_C、λ_F和λ_C融合得到情感融合特征T_A，T_A經(jīng)全連接層線性映射，得到arousal和valence初始預(yù)測值，衡量兩個初始預(yù)測值與原始情感標注值之間的損失，逐步收斂，完成訓(xùn)練，得到網(wǎng)絡(luò)模型；將測試樣本集處理后送入網(wǎng)絡(luò)模型，獲得測試樣本集X_tn預(yù)測標簽值。本發(fā)明的方法融合特征時考慮到不同屬性的特征對與人物情感的影響程度，在豐富基于圖像的情感識別研究工作的基礎(chǔ)上提高了模型的預(yù)測性能。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識別技術(shù)領(lǐng)域，具體涉及一種場景級上下文感知的情感 識別深度網(wǎng)絡(luò)方法。

背景技術(shù)

情感是人們表達自身感受的一種必要表達形式。在日常生活中，從一個 人所處的實際場景理解并識別他們的情緒有助于感知其精神狀態(tài)和預(yù)測行 為，有效進行互動。早在上世紀90年代，情感計算這一概念已被MIT媒體 實驗室提出，隨后科學(xué)家們就開始致力于將人類的復(fù)雜情感轉(zhuǎn)化為計算機可 以識別的數(shù)值信息，以更好實現(xiàn)人機交互，使計算機趨于智能化，這已成為 人工智能時代亟待解決的關(guān)鍵問題之一。

傳統(tǒng)意義上，針對靜態(tài)圖像的情感識別任務(wù)主要依據(jù)人臉圖像展開研究。 對于人臉圖像，采用預(yù)先定義的特征提取方法進行情感特征提取，并送入分 類器(回歸器)進行模型訓(xùn)練，最終實現(xiàn)情感預(yù)測。然而，基于人臉圖像進 行情感識別容易受到姿態(tài)、光照以及人臉差異等自然環(huán)境與樣本特征因素的 影響。

根據(jù)心理學(xué)研究發(fā)現(xiàn)，視覺傳達的情感信息中，人臉圖像傳遞的信息大 約占55％。在日常情感交流中，判斷一個人的情感，不僅可以通過目標人物 的面部表情，還可以通過周圍環(huán)境，如人物動作，與他人互動，所處場景等 一系列豐富的上下文信息對人物內(nèi)心的情感進行估計，甚至在檢測不到人臉 的極端情況下，依然可以通過大量上下文信息對研究對象的情感進行估計。

近年來，基于深度卷積網(wǎng)絡(luò)的復(fù)雜情感識別方法引起關(guān)注，讓網(wǎng)絡(luò)自行 學(xué)習情感特征并進行分析替代了傳統(tǒng)人為定義的方式。但是，當下的深度學(xué) 習分析方法主要針對人臉圖像進行情感分析，缺乏對于自然場景復(fù)雜情形下 人物表現(xiàn)的綜合考慮，未曾考慮場景級上下文信息對于場景中人物情感識別 的影響。同時，對于不同屬性特征的融合方式也研究不足，所建立的模型往 往忽略了不同屬性特征對于情感狀態(tài)識別的貢獻程度。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種場景級上下文感知的情感識別深度網(wǎng)絡(luò)方法， 解決了現(xiàn)有技術(shù)中基于靜態(tài)圖像的情感分析范圍較窄，僅針對人臉圖像，以 及采用直接拼接不同屬性特征的方式進行情感識別的局限性問題。

本發(fā)明所采用的技術(shù)方案是，一種場景級上下文感知的情感識別深度網(wǎng) 絡(luò)方法，具體包括以下步驟：

步驟1、采集圖像，確定訓(xùn)練樣本集X_in和測試樣本集X_tn；

步驟2、讀取訓(xùn)練樣本集X_in中每個樣本的身體標注值與原始情感標注值， 依據(jù)身體標注值提取每個樣本的身體部位，得到身體部位圖像集X_B；

步驟3、對訓(xùn)練樣本集X_in進行集合內(nèi)歸一化處理，得到上下文情感圖像 集X_im；對身體部位圖像集X_B進行集合內(nèi)歸一化處理，得到歸一化的身體部 位圖像集X_body；