[發(fā)明專利]一種基于多模態(tài)數(shù)據(jù)的圖像情感識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010284300.2
• 申請日: 2020-04-13
• 公開（公告）號: CN111523574B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計）人: 普園媛;阿曼;徐丹;趙征鵬;錢文華;袁國武;楊文武;陳云龍
• 申請（專利權(quán)）人: 云南大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 劉鳳玲

本發(fā)明涉及一種基于多模態(tài)數(shù)據(jù)的圖像情感識別方法及系統(tǒng)，包括：獲取訓(xùn)練樣本數(shù)據(jù)；根據(jù)訓(xùn)練樣本數(shù)據(jù)得訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)以及訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)；獲取待識別數(shù)據(jù)；將待識別文本數(shù)據(jù)輸入訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)，得文本特征；將待識別圖像輸入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，得美感特征、情感特征以及共享特征；采用TFN方法對美感特征、共享特征和文本特征進行融合，得第一待識別融合特征；采用TFN方法對情感特征、圖像特征和文本特征進行融合，得第二待識別融合特征；根據(jù)待識別融合特征確定待識別數(shù)據(jù)的情感。通過本發(fā)明的上述方法提高了情感識別的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種基于多模態(tài)數(shù)據(jù)的圖像情感識別方法及系統(tǒng)。

背景技術(shù)

對于多媒體數(shù)據(jù)的情感分析一直以來都是一項具有挑戰(zhàn)性的任務(wù)，國內(nèi)外已經(jīng)有許多學(xué)者、企業(yè)展開了對各個模態(tài)數(shù)據(jù)情感分析的研究。但較長時間來，研究人員主要關(guān)注單個模態(tài)的情感分析算法，而較少關(guān)注多種模態(tài)數(shù)據(jù)的聯(lián)合分析。

傳統(tǒng)的情感分析方法提取圖片的紋理、聚類各種顏色，構(gòu)建顏色、形狀、紋理和情感之間的相關(guān)性。然而，一幅圖像的情感受到多方面的影響，傳統(tǒng)的情感分析方法考慮的因素不夠全面和準(zhǔn)確，導(dǎo)致情感識別的準(zhǔn)確性不佳。

發(fā)明內(nèi)容

基于此，本發(fā)明的目的是提供一種基于多模態(tài)數(shù)據(jù)的圖像情感識別方法及系統(tǒng)，通過結(jié)合圖像數(shù)據(jù)以及對圖像數(shù)據(jù)進行描述的文本數(shù)據(jù)對圖像的情感進行識別，提高情感識別的準(zhǔn)確性。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種基于多模態(tài)數(shù)據(jù)的圖像情感識別方法，所述圖像情感識別方法包括：

獲取訓(xùn)練樣本數(shù)據(jù)；所述訓(xùn)練樣本數(shù)據(jù)包括訓(xùn)練圖像數(shù)據(jù)以及訓(xùn)練文本數(shù)據(jù)；

獲取預(yù)設(shè)共享參數(shù)；

根據(jù)所述預(yù)設(shè)共享參數(shù)以及所述訓(xùn)練圖像數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，獲得訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)、訓(xùn)練美感特征、訓(xùn)練情感特征以及訓(xùn)練共享特征；

根據(jù)所述訓(xùn)練文本數(shù)據(jù)對循環(huán)神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，獲得訓(xùn)練過的循環(huán)神經(jīng)網(wǎng)絡(luò)和訓(xùn)練文本特征。

采用TFN方法對所述訓(xùn)練美感特征、所述訓(xùn)練共享特征和所述訓(xùn)練文本特征進行融合，獲得第一訓(xùn)練融合特征；

采用TFN方法對所述訓(xùn)練情感特征、所述訓(xùn)練共享特征和所述訓(xùn)練文本特征進行融合，獲得第二訓(xùn)練融合特征；

根據(jù)所述第一訓(xùn)練融合特征和所述第二訓(xùn)練融合特征，采用交叉熵?fù)p失函數(shù)確定訓(xùn)練美感損失以及訓(xùn)練情感分布損失；

根據(jù)所述訓(xùn)練文本特征，采用交叉熵?fù)p失函數(shù)確定訓(xùn)練文本損失；

根據(jù)所述訓(xùn)練美感損失、所述訓(xùn)練情感分布損失以及所述訓(xùn)練文本損失確定所述訓(xùn)練樣本數(shù)據(jù)的總損失；

根據(jù)所述訓(xùn)練樣本數(shù)據(jù)的總損失采用反向傳播方法重新確定所述預(yù)設(shè)共享參數(shù)，并分別調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)中的參數(shù)；

判斷迭代次數(shù)是否小于預(yù)設(shè)迭代次數(shù)，獲得判斷結(jié)果；

若所述判斷結(jié)果表示所述迭代次數(shù)小于預(yù)設(shè)迭代次數(shù)，返回“根據(jù)所述預(yù)設(shè)共享參數(shù)以及所述訓(xùn)練圖像數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，獲得訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)、訓(xùn)練美感特征、訓(xùn)練情感特征以及訓(xùn)練共享特征”步驟；

若所述判斷結(jié)果表示所述迭代次數(shù)大于或等于預(yù)設(shè)迭代次數(shù)，將所述訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)確定為訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，將所述訓(xùn)練過的循環(huán)神經(jīng)網(wǎng)絡(luò)確定為訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)；

獲取待識別數(shù)據(jù)；所述待識別數(shù)據(jù)包括待識別圖像以及所述待識別圖像對應(yīng)的待識別文本數(shù)據(jù)；

將所述待識別文本數(shù)據(jù)輸入所述訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)，獲得待識別文本特征；