[發明專利]一種基于ResNet-GCN網絡的圖像情感分類方法

在審

• 申請號: 201810292286.3
• 申請日: 2018-03-30
• 公開（公告）號: CN108416397A
• 公開（公告）日: 2018-08-17
• 發明（設計）人: 王偉凝;李樂敏;黃杰雄
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳文姬

1.一種基于ResNet-GCN網絡的圖像情感分類方法，其特征在于，包括如下步驟：

(1)圖像情感分類網絡設計：所述圖像情感分類網絡由前后兩部分結構組成，前部分為殘差網絡ResNet-50結構，后部分為全卷積網絡GCN結構；

所述ResNet-50結構包含第一卷積層組、第二卷積層組、第三卷積層組、第四卷積層組、第五卷積層組、1個完全連接層和1個Softmax層；

所述GCN結構四個GCN結構，分別接在前部分結構ResNet-50的第二、三、四和五卷積層組之后；每個GCN結構后緊跟一個池化層，其中最后一個池化層連接到前部分的完全連接層的神經元中；

所述完全連接層根據圖像情感種類，將神經元數量設為圖像情感類別數N；

所述第一卷積層組、第二卷積層組、第三卷積層組、第四卷積層組、第五卷積層組的輸出通道，根據圖像情感種類，將其設為圖像情感類別數N；

(2)圖像情感分類框架設計：所述圖像情感分類框架包含一個圖像情感分類網絡和一個支持向量分類器；

(3)圖像預處理：對原始圖像進行顯著主體提取、金字塔切割，共得到包含原始圖像在內的三種輸入圖像；

(4)訓練圖像情感分類網絡：基于輸入的原始圖像，有監督地訓練圖像情感分類網絡；

(5)測試圖像情感分類框架：針對原始圖像、顯著主體提取、金字塔切割三形式的輸入圖像，圖像情感分類網絡學習相應的情感特征，決策融合三種情感特征，訓練和測試SVM分類器并輸出分類結果；

其中，情感特征包含原始圖像特征、顯著主體圖特征和金字塔分割子圖特征；

(6)對用戶圖像使用已訓練好的圖像情感分類框架，實現圖像的情感分類。

2.根據權利要求1所述的基于ResNet-GCN網絡的圖像情感分類方法，其特征在于，步驟(3)所述對原始圖像進行顯著主體提取，具體為：當原始圖像有多個顯著主體，則將所有顯著主體作為顯著主體圖；當原始圖像沒有顯著主體，則將該原始圖像作為其唯一的顯著主體圖。

3.根據權利要求1所述的基于ResNet-GCN網絡的圖像情感分類方法，其特征在于，步驟(3)所述金字塔切割，具體為：采用金字塔切割算法，將原始圖像切割為5幅，得到金字塔切割子圖。

4.根據權利要求1所述的基于ResNet-GCN網絡的圖像情感分類方法，其特征在于，步驟(4)所述訓練圖像情感分類網絡，具體包括以下步驟：

(4-1)網絡初始化：前部分ResNet結構的卷積層組的網絡權值采用ResNet-50的網絡權值初始化；前部分ResNet結構的完全連接層和后部分GCN結構的網絡權值則為隨機初始化；

(4-2)設置訓練參數：前部分ResNet結構的卷積層組的初始學習率設置為0.001，全連接層和后部分GCN結構的初始學習率設置為0.01，所有學習率都在損失函數收斂后下降50％；每一次訓練迭代的圖像數量設置為64；

(4-3)加載訓練數據：選用圖像情感數據庫，隨機選取80％的圖像作為訓練集，15％的圖像作為測試集，5％的圖像作為驗證集；輸入訓練集和驗證集的原始圖像；對應圖像情感分類網絡的輸入大??；

(4-4)采用隨機梯度下降算法，對圖像情感分類網絡進行迭代訓練；

(4-5)取原始圖像的驗證集上損失函數最小的網絡模型作為圖像情感分類網絡的最優模型。

5.根據權利要求1所述的基于ResNet-GCN網絡的圖像情感分類方法，其特征在于，步驟(5)所述測試圖像情感分類框架，具體步驟如下：

(5-1)先后輸入測試集圖像的原始圖像、顯著主體圖和金字塔切割子圖到圖像情感分類框架中的基礎網絡；其中基礎網絡取其訓練階段的最優模型；

(5-2)針對不同形式的輸入圖像，圖像情感分類框架中的基礎網絡學習到相應的圖像情感特征；

(5-3)顯著主體圖特征和金字塔切割子圖特征，分別經過情感分數計算和特征融合，得到對應每幅原始圖像的主體特征和金字塔特征；

(5-4)利用決策融合方法，融合原始圖像特征、主體特征和金字塔特征，將最終的決策融合特征輸入到SVM分類器，用五折交叉驗證的方法對SVM分類器進行訓練和測試，得到測試集圖像最終的情感分類結果。