[發明專利]基于深度學習的人群高興程度識別方法

有效

• 申請號: 201611242470.4
• 申請日: 2016-12-29
• 公開（公告）號: CN106803069B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 張文靜;盧官明;閆靜杰;李海波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉傳玉

本發明公開了一種基于深度學習的人群高興程度識別方法，首先將人工標注的單個人臉圖像做分類和圖像尺寸歸一化處理，得到人臉高興程度數據庫和人臉遮擋程度數據庫，再分別將它們分為訓練集和驗證集，用于訓練卷積神經網絡，然后利用訓練好的網絡模型對輸入的一幅合影圖像中的人臉進行高興程度和遮擋程度的識別，最后采用人臉高興程度加權的方式計算出圖像中的人群高興程度。采用深度學習對圖像中的群體表情進行分析，相比于傳統提取PHOG、Gabor特征的方法要更準確，為解決圖像中的人群情感識別問題提拱了新的思路和途徑。

技術領域

本發明涉及圖像處理與模式識別領域，涉及一種人群情感識別方法，特別涉及一種基于深度學習的人群高興程度識別方法。

背景技術

人臉表情識別的研究近幾年可以看到很多，然而很少有人關注圖像中一群人所表達的情感。隨著數據分享的普及程度以及類似YouTube、Flickr等社交網站的興起，每天都會有用戶上傳成億上萬的社交圖片和視頻，比如參加的聚會、婚禮、畢業宴會等。通常情況下，這些上傳的視頻和圖像中可能包含一個或者多個人，因此對人群的學習是關鍵的一步。

舉個例子，現在如果需要推測一群參加同學聚會的人物合影中人們的心情，運用現有的情感檢測算法來解決這種偏向于實際場景的問題還是具有挑戰性的，比如缺少群體性的情感建模方法、帶有標簽的數據集、人臉分析方法。表情分析已經被研究了很多年，但都只局限于推測單個人物的情感狀態。

要分析群體的高興程度問題，需要關注的是每個人的高興程度和它對整體情感基調的影響大小。這種影響程度與社交場景有關，包括各種全局和局部的影響因素，比如說圖像中的人數、臉部的遮擋情況等。一般來說合影中的人數越多，整個場景中高興或是憤怒的氛圍越為濃厚，因此是個很有必要考慮的影響因素。臉部的遮擋包括自我遮擋(墨鏡)或者其他人的遮擋(一個人站在另一個人的斜前方)，這是合影時很常見的現象，臉部的遮擋會降低能見度進而影響對其面部表情準確地評估，也會降低其對整體高興程度的影響力，因此在圖像中對被有所遮擋的人臉的高興強度應做懲罰處理。本發明所采用的方法是基于這類全局和局部信息進行建模的。

分析圖像中一群人所傳達的情感目前看來還是極具應用價值的，比如圖片搜索、檢索和瀏覽，事件概括和重點析出，最佳照片拍攝選擇，視頻表情峰值檢測，視頻縮略圖創建等。鑒于較為廣泛的應用價值，人們對于理解人類情感屬性的表現擁有越來越大的興趣，然而從情感分析的角度，圖像中場景的變化在情感計算領域仍鮮有關注。目前在情感識別分析方面，一般都是針對單個人的，將人臉表情劃分為6種基本表情：高興、驚訝、厭惡、生氣、恐懼、悲傷，很少有研究者從事群體表情的分類識別研究。

發明內容

本發明所要解決的技術問題是針對背景技術中所涉及到的缺陷，提供一種基于深度學習的人群高興程度識別方法。

本發明為解決上述技術問題采用以下技術方案：

基于深度學習的人群高興程度識別方法，包括以下步驟：

步驟A)，將由人工標注的單個人臉圖像，按照標簽分類并對圖像大小歸一化后，得到人臉高興程度數據庫和人臉遮擋程度數據庫，將它們分別分為訓練集和驗證集并進行預處理操作；

步驟B)，分別構建用于識別人臉高興程度和人臉遮擋程度的卷積神經網絡；

步驟C)，對步驟B)中構建的兩個卷積神經網絡進行初始學習率、權重衰減系數、訓練迭代次數的設置后，將經過預處理操作后的人臉高興程度和人臉遮擋程度樣本分別對應輸入所述兩個卷積神經網絡，得到用于識別人臉高興程度和人臉遮擋程度的網絡模型；

步驟D)，使用含上述數據集的人臉和非人臉圖像對Adaboost分類器做再訓練；