[發明專利]一種基于注意力機制和混合網絡的群體圖像情緒識別方法

有效

• 申請號: 201910280721.5
• 申請日: 2019-04-09
• 公開（公告）號: CN110135251B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 邵潔;錢勇生;季欣欣;李曉瑞;莫晨;程其玉
• 申請（專利權）人: 上海電力學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/82;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

本發明涉及一種基于注意力機制和混合網絡的群體圖像情緒識別方法，包括以下步驟：步驟1：使用卷積網絡模型以檢測和提取圖像中人的面部信息并輸入面部CNN，通過注意力機制結合圖像中的面部特征獲取面部特征的單個表示；步驟2：使用姿勢估計方法獲取圖像中人體骨架信息并輸入骨架CNN；步驟3：利用數據庫訓練各分支網絡模型；步驟4：融合各個模型的預測結果，執行網絡搜索以學習每個模型的權重；步驟5：通過權重得出混合網絡針對圖像的最終識別結果。與現有技術相比，本發明具有降低由個別面部表情混淆最終分類的概率，充分結合了圖像中場景、人臉、骨架的特征信息，降低由不同特征混淆最終分類的概率，更高的識別準確率等優點。

技術領域

本發明涉及群體情緒識別技術領域，尤其是涉及一種基于注意力機制和混合網絡的群體圖像情緒識別方法。

背景技術

智能情感分析研究已經走過了漫長的道路，但傳統上一直關注場景中的單一個體，對群體情感識別的研究相對匱乏，然而，隨著城市人口的迅速增長，研究對象由個體逐漸轉變為群體。群體可分為大小群體，大群體如街道的人流，此時人與人之間并沒有情感的交流和統一的情緒，本發明是對多位個體間有情感交流的小群體進行情緒識別。并且在擁擠的環境中，由于遮擋和分辨率的問題，很難根據個人的表情去推斷群體的情感。因此，基于小群體情感識別顯得尤為重要，它不僅可以應用于監控視頻的異常檢測，預測小群體情緒變化，保證社會安全。還可以應用于智能城市的規劃，以給人們提供更加人性化的服務。如何高效地識別群體情感是目前急需解決的問題。

群體情緒識別最早由Dhall等人進行，該工作介紹了AFEW數據庫和群體情緒識別框架，包括使用面部動作單元提取面部特征，在對齊的面上提取低級特征，使用GIST和CENTRIST描述符提取場景特征并使用多核學習融合。然而，他們提出的方法依賴于LBQ和PHOG特征和CENTRIST，其捕獲面部表示和場景表示是有限的。

以往的情緒識別廣泛使用人體面部特征，但根據實驗心理學和情感計算的研究結果，身體姿勢特征也傳達重要的情感信息。人臉標志可直接作為位置向量，或者通過計算它們之間的幾何距離來識別情緒，身體姿勢特征主要被編碼為圖像中身體區域的手工特征。為了保留人臉標志和身體特征關鍵點的相對位置，可使用骨架特征表示，對應于人臉、身體和手的關鍵點集合。由于面部遮擋、光照變化、頭部姿勢變化，各種室內和室外環境不同以及由于相機距離不同而導致低分辨率的面部圖像，因此群體情緒識別問題具有挑戰性。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于注意力機制和混合網絡的群體圖像情緒識別方法。

本發明的目的可以通過以下技術方案來實現：

一種基于注意力機制和混合網絡的群體圖像情緒識別方法，包括以下步驟：

步驟1：使用卷積網絡模型以檢測和提取圖像中人的面部信息并輸入面部CNN，通過注意力機制結合圖像中的面部特征獲取面部特征的單個表示；

步驟2：使用姿勢估計方法獲取圖像中人體骨架信息并輸入骨架CNN；

步驟3：利用數據庫訓練各分支網絡模型；

步驟4：融合各個模型的預測結果，執行網絡搜索以學習每個模型的權重；

步驟5：通過權重得出混合網絡針對圖像的最終識別結果。

優選地，所述的步驟1包括以下分步驟：

步驟11：使用多任務級聯卷積網絡模型獲取圖像中人的面部信息；

步驟12：將面部信息輸入面部CNN；

步驟13：引入損失函數減輕過擬合；

步驟14：通過注意力機制找到圖像中每個面部的概率權重并獲得單個面部特征向量。