[發(fā)明專利]一種基于ResNet-GCN網(wǎng)絡(luò)的圖像情感分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810292286.3
• 申請(qǐng)日: 2018-03-30
• 公開(kāi)（公告）號(hào): CN108416397A
• 公開(kāi)（公告）日: 2018-08-17
• 發(fā)明（設(shè)計(jì)）人: 王偉凝;李樂(lè)敏;黃杰雄
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 陳文姬

本發(fā)明公開(kāi)了一種基于ResNet?GCN網(wǎng)絡(luò)的圖像情感分類方法，包括以下步驟：(1)圖像情感分類網(wǎng)絡(luò)設(shè)計(jì)：由前部分結(jié)構(gòu)ResNet?50網(wǎng)絡(luò)和后部分結(jié)構(gòu)GCN網(wǎng)絡(luò)組成；(2)圖像情感分類框架設(shè)計(jì)：包含一個(gè)圖像情感分類網(wǎng)絡(luò)ResNet?GCN和一個(gè)用于決策融合網(wǎng)絡(luò)特征的支持向量分類器；(3)對(duì)原始圖像進(jìn)行顯著主體提取和金字塔切割；(4)訓(xùn)練圖像情感分類網(wǎng)絡(luò)；(5)測(cè)試圖像情感分類框架；(6)用戶圖像使用已訓(xùn)練好的圖像情感分類框架進(jìn)行分類，實(shí)現(xiàn)圖像情感分類。本發(fā)明得到的圖像情感分類結(jié)果符合人類情感標(biāo)準(zhǔn)，判斷過(guò)程無(wú)需人工參與，實(shí)現(xiàn)了機(jī)器全自動(dòng)圖像情感分類。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分類的技術(shù)領(lǐng)域，特別涉及一種基于ResNet-GCN網(wǎng)絡(luò)的圖像情感分類方法。

背景技術(shù)

我們?nèi)菀资艿揭曈X(jué)內(nèi)容尤其是圖像的刺激而產(chǎn)生各種情感。圖像情感分類，就是針對(duì)圖像所喚醒的人類情感對(duì)圖像進(jìn)行分類。研究中常用的圖像情感分別為愉悅、敬畏、滿足、興奮、憤怒、厭惡、恐懼、悲傷共8類。由于圖像的復(fù)雜性和人類情感的主觀性，通過(guò)計(jì)算機(jī)模擬人類高層感知來(lái)判斷圖像情感，自動(dòng)實(shí)現(xiàn)圖像情感分類是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)。

現(xiàn)有的圖像情感分類方法經(jīng)歷了傳統(tǒng)手工特征方法和深度學(xué)習(xí)方法兩個(gè)階段。與傳統(tǒng)手工特征方法相比，深度學(xué)習(xí)方法不僅省去繁瑣的特征設(shè)計(jì)和提取的過(guò)程，更能在樣本中學(xué)習(xí)到更抽象更高層次的圖像特征，提高了圖像情感分類的泛化能力。目前常用的卷積神經(jīng)網(wǎng)絡(luò)模型有AlexNet、VGG和ResNet等。

在基于深度學(xué)習(xí)方法的圖像情感分類研究中，悉尼科技大學(xué)學(xué)者Rao等人從圖像情感、紋理和美學(xué)三個(gè)角度出發(fā)，通過(guò)組合3個(gè)AlexNet，提出一個(gè)多層深度表達(dá)網(wǎng)絡(luò)MldrNet。該網(wǎng)絡(luò)盲目地學(xué)習(xí)圖像不同因素的特征，缺少對(duì)影響圖像情感表達(dá)的相關(guān)因素的具體分析，不僅無(wú)法顯著提升圖像情感分類性能，還增加了網(wǎng)絡(luò)的復(fù)雜性，降低了網(wǎng)絡(luò)的泛化能力。

現(xiàn)有的圖像情感分類方法缺乏針對(duì)性的模型設(shè)計(jì)，無(wú)法有效地綜合表達(dá)全局和局部圖像信息。因此需要一種新的圖像情感分類方法來(lái)克服現(xiàn)有技術(shù)存在的問(wèn)題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的上述缺點(diǎn)與不足，本發(fā)明的目的在于提供一種基于ResNet-GCN網(wǎng)絡(luò)的圖像情感分類方法，效地綜合表達(dá)全局和局部圖像信息，自動(dòng)實(shí)現(xiàn)圖像情感分類。

本發(fā)明的目的通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

一種基于ResNet-GCN網(wǎng)絡(luò)的圖像情感分類方法，包括如下步驟：

(1)圖像情感分類網(wǎng)絡(luò)設(shè)計(jì)：所述圖像情感分類網(wǎng)絡(luò)由前后兩部分結(jié)構(gòu)組成，前部分為殘差網(wǎng)絡(luò)ResNet-50結(jié)構(gòu)，后部分為全卷積網(wǎng)絡(luò)GCN結(jié)構(gòu)；

所述ResNet-50結(jié)構(gòu)包含第一卷積層組、第二卷積層組、第三卷積層組、第四卷積層組、第五卷積層組、1個(gè)完全連接層和1個(gè)Softmax層；

所述GCN結(jié)構(gòu)四個(gè)GCN結(jié)構(gòu)，分別接在前部分結(jié)構(gòu)ResNet-50的第二、三、四和五卷積層組之后；每個(gè)GCN結(jié)構(gòu)后緊跟一個(gè)池化層，其中最后一個(gè)池化層連接到前部分的完全連接層的神經(jīng)元中；

所述完全連接層根據(jù)圖像情感種類，將神經(jīng)元數(shù)量設(shè)為圖像情感類別數(shù)N；

所述第一卷積層組、第二卷積層組、第三卷積層組、第四卷積層組、第五卷積層組的輸出通道，根據(jù)圖像情感種類，將其設(shè)為圖像情感類別數(shù)N；

(2)圖像情感分類框架設(shè)計(jì)：所述圖像情感分類框架包含一個(gè)圖像情感分類網(wǎng)絡(luò)和一個(gè)支持向量分類器；

(3)圖像預(yù)處理：對(duì)原始圖像進(jìn)行顯著主體提取、金字塔切割，共得到包含原始圖像在內(nèi)的三種輸入圖像；

(4)訓(xùn)練圖像情感分類網(wǎng)絡(luò)：基于輸入的原始圖像，有監(jiān)督地訓(xùn)練圖像情感分類網(wǎng)絡(luò)；