[發(fā)明專利]一種基于多模態(tài)數(shù)據(jù)的圖像情感識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010284300.2
• 申請(qǐng)日: 2020-04-13
• 公開(kāi)（公告）號(hào): CN111523574B
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 普?qǐng)@媛;阿曼;徐丹;趙征鵬;錢文華;袁國(guó)武;楊文武;陳云龍
• 申請(qǐng)（專利權(quán)）人: 云南大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 劉鳳玲

1.一種基于多模態(tài)數(shù)據(jù)的圖像情感識(shí)別方法，其特征在于，所述圖像情感識(shí)別方法包括：

獲取訓(xùn)練樣本數(shù)據(jù)；所述訓(xùn)練樣本數(shù)據(jù)包括訓(xùn)練圖像數(shù)據(jù)以及訓(xùn)練文本數(shù)據(jù)；

獲取預(yù)設(shè)共享參數(shù)；

根據(jù)所述預(yù)設(shè)共享參數(shù)以及所述訓(xùn)練圖像數(shù)據(jù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)、訓(xùn)練美感特征、訓(xùn)練情感特征以及訓(xùn)練共享特征，具體包括：

獲取原始卷積神經(jīng)網(wǎng)絡(luò)；

將所述訓(xùn)練圖像數(shù)據(jù)分為第一訓(xùn)練圖像數(shù)據(jù)和第二訓(xùn)練圖像數(shù)據(jù)；

利用所述第一訓(xùn)練圖像數(shù)據(jù)對(duì)原始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述預(yù)設(shè)共享參數(shù)，利用所述第二訓(xùn)練圖像數(shù)據(jù)對(duì)所述預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行二次訓(xùn)練，獲得訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)、訓(xùn)練美感特征、訓(xùn)練情感特征以及訓(xùn)練共享特征；其中，訓(xùn)練過(guò)程中，利用所述預(yù)設(shè)共享參數(shù)來(lái)使所述訓(xùn)練美感特征和所述訓(xùn)練情感特征進(jìn)行協(xié)同訓(xùn)練；

具體地，將卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練分為三個(gè)支路：上支路為圖像美感支路，下支路為圖像情感支路，中間支路為共享參數(shù)網(wǎng)絡(luò)支路；

上支路：利用第一訓(xùn)練圖像數(shù)據(jù)中的AVA美感評(píng)價(jià)數(shù)據(jù)對(duì)原始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得上支路預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，再利用第二訓(xùn)練圖像數(shù)據(jù)進(jìn)行二次訓(xùn)練，在二次訓(xùn)練過(guò)程中利用第二訓(xùn)練圖像數(shù)據(jù)的美感標(biāo)簽控制上支路卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)，獲取訓(xùn)練過(guò)的美感卷積神經(jīng)網(wǎng)絡(luò)，將該網(wǎng)絡(luò)最后一個(gè)卷積塊的輸出視為圖像美感特征；

下支路：利用第一訓(xùn)練圖像數(shù)據(jù)中的DeepEmotion數(shù)據(jù)集對(duì)原始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得下支路預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，再利用第二訓(xùn)練圖像數(shù)據(jù)進(jìn)行二次訓(xùn)練，在二次訓(xùn)練過(guò)程中利用第二訓(xùn)練圖像數(shù)據(jù)的情感標(biāo)簽控制卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)，獲取情感卷積神經(jīng)網(wǎng)絡(luò)，將該網(wǎng)絡(luò)最后一個(gè)卷積塊的輸出視為圖像情感特征；

中間支路：利用第一訓(xùn)練圖像數(shù)據(jù)中的ImageNet數(shù)據(jù)對(duì)原始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得中間支路預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，該支路不使用特定的標(biāo)簽來(lái)計(jì)算損失和更新參數(shù)，而是將該支路的輸出和上支路、下支路融合后再計(jì)算損失，即增加共享參數(shù)，利用預(yù)設(shè)共享參數(shù)對(duì)上支路的中間輸出和下支路的中間輸出作線性變換，并在網(wǎng)絡(luò)迭代的過(guò)程中，將線性變換計(jì)算得出的特征結(jié)果傳輸?shù)较乱粚訉?shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的前向傳播，使用參數(shù)α_p，α_s控制共享參數(shù)網(wǎng)絡(luò)及圖像美感支路的輸出特征，并使用β_p，β_s控制共享參數(shù)網(wǎng)絡(luò)及圖像情感支路的輸出特征，計(jì)算方法如下：

其中，表示共享參數(shù)網(wǎng)絡(luò)和上支路中間輸出結(jié)合后向前傳播的中間輸出，f_s(x,y)表示共享參數(shù)網(wǎng)絡(luò)向前傳播的中間輸出，表示共享參數(shù)網(wǎng)絡(luò)和下支路中間輸出結(jié)合后的中間輸出，α_p，α_s分別表示共享參數(shù)網(wǎng)絡(luò)中間輸出和上支路中間輸出的結(jié)合系數(shù)，β_p，β_s分別表示共享參數(shù)網(wǎng)絡(luò)中間輸出和下支路中間輸出的結(jié)合系數(shù)，f_a(x,y)表示圖像美感支路的中間輸出，f_e(x,y)表示圖像情感支路的中間輸出；

根據(jù)所述訓(xùn)練文本數(shù)據(jù)對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練過(guò)的循環(huán)神經(jīng)網(wǎng)絡(luò)和訓(xùn)練文本特征；

采用TFN方法對(duì)所述訓(xùn)練美感特征、所述訓(xùn)練共享特征和所述訓(xùn)練文本特征進(jìn)行融合，獲得第一訓(xùn)練融合特征；

采用TFN方法對(duì)所述訓(xùn)練情感特征、所述訓(xùn)練共享特征和所述訓(xùn)練文本特征進(jìn)行融合，獲得第二訓(xùn)練融合特征；

根據(jù)所述第一訓(xùn)練融合特征和所述第二訓(xùn)練融合特征，采用交叉熵?fù)p失函數(shù)確定訓(xùn)練美感損失以及訓(xùn)練情感分布損失；

根據(jù)所述訓(xùn)練文本特征，采用交叉熵?fù)p失函數(shù)確定訓(xùn)練文本損失；

根據(jù)所述訓(xùn)練美感損失、所述訓(xùn)練情感分布損失以及所述訓(xùn)練文本損失確定所述訓(xùn)練樣本數(shù)據(jù)的總損失；

根據(jù)所述訓(xùn)練樣本數(shù)據(jù)的總損失采用反向傳播方法重新確定所述預(yù)設(shè)共享參數(shù)，并分別調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)中的參數(shù)；

判斷迭代次數(shù)是否小于預(yù)設(shè)迭代次數(shù)，獲得判斷結(jié)果；

若所述判斷結(jié)果表示所述迭代次數(shù)小于預(yù)設(shè)迭代次數(shù)，返回“根據(jù)所述預(yù)設(shè)共享參數(shù)以及所述訓(xùn)練圖像數(shù)據(jù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)、訓(xùn)練美感特征、訓(xùn)練情感特征以及訓(xùn)練共享特征”步驟；

若所述判斷結(jié)果表示所述迭代次數(shù)大于或等于預(yù)設(shè)迭代次數(shù)，將所述訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)確定為訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，將所述訓(xùn)練過(guò)的循環(huán)神經(jīng)網(wǎng)絡(luò)確定為訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)；

獲取待識(shí)別數(shù)據(jù)；所述待識(shí)別數(shù)據(jù)包括待識(shí)別圖像以及所述待識(shí)別圖像對(duì)應(yīng)的待識(shí)別文本數(shù)據(jù)；

將所述待識(shí)別文本數(shù)據(jù)輸入所述訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)，獲得待識(shí)別文本特征；

將所述待識(shí)別圖像輸入所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，獲得待識(shí)別美感特征、待識(shí)別情感特征以及待識(shí)別共享特征；

采用TFN方法對(duì)所述待識(shí)別美感特征、所述待識(shí)別共享特征和所述待識(shí)別文本特征進(jìn)行融合，獲得第一待識(shí)別融合特征；

采用TFN方法對(duì)所述待識(shí)別情感特征、所述待識(shí)別共享特征和所述待識(shí)別文本特征進(jìn)行融合，獲得第二待識(shí)別融合特征；

將所述第一待識(shí)別融合特征和所述第二待識(shí)別融合特征輸入判別器中，確定待識(shí)別數(shù)據(jù)的情感；所述情感包括：愉悅、敬畏、滿足、激動(dòng)、憤怒、厭惡、恐懼和悲傷。