[發明專利]基于層次化卷積神經網絡的用戶專注度識別方法及系統

有效

• 申請號: 201710447282.3
• 申請日: 2017-06-14
• 公開（公告）號: CN107194371B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 黃飛;侯立民;鄧卉;李輝芳
• 申請（專利權）人: 易視騰科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京聯創佳為專利事務所(普通合伙) 11362
• 代理人: 郭防

本發明涉一種基于層次化卷積神經網絡的用戶專注度識別方法，包括如下步驟：獲取人臉正面圖像；根據所述人臉正面圖像，利用兩種均勻模式的局部二元模式算子計算所述人臉正面圖像對應的特征編碼圖；根據兩種均勻模式下的所述特征編碼圖和所述人臉正面圖像，采用GoogLeNet改進分類器進行分類處理獲取用戶情緒，根據所述情緒獲取用戶專注度。還對應提供了一種基于層次化卷積神經網絡的用戶專注度識別系統。本發明所獲取的用戶專注度結果準確，能夠精細分解。

技術領域

本發明涉及圖像處理領域，具體而言，涉及智能電視系統中基于層次化卷積神經網絡的用戶專注度識別方法和基于層次化卷積神經網絡的用戶專注度識別系統。

背景技術

隨著機器學習的大熱，傳統的人機交互方式逐漸被淘汰。如今智能電視系統飛速發展，如何將智能電視系統與機器學習結合，從而提供更加方便快捷和人性化的服務是值得探討的問題。人臉識別技術是利用分析比較人臉視覺特征信息進行身份鑒別的計算機技術，是較為熱門的技術研究領域，屬于生物特征識別領域，將此種技術應用在電視系統中，可以給用戶提供全新的體驗，根據用戶的情緒特征提供更人性化的服務。現有的智能電視中情緒分類或者用戶專注度分類過于粗糙。

發明內容

針對現有多種人臉情緒識別的算法，結合智能電視系統的特點與要求，本發明提供了一種情緒分類精細的用戶專注度識別技術，具體地，本發明第一方面提供了一種基于層次化卷積神經網絡的用戶專注度識別方法，包括如下步驟：

S110獲取人臉正面圖像；

S120根據所述人臉正面圖像，利用兩種均勻模式的局部二元模式算子計算所述人臉正面圖像對應的特征編碼圖；

S130根據兩種均勻模式下的所述特征編碼圖和所述人臉正面圖像，采用GoogLeNet改進分類器進行分類處理獲取用戶情緒，根據所述情緒獲取用戶專注度。

進一步地，所述步驟S110包括

S111獲取人臉拍攝圖像；

S112根據通過回歸的方式建立的二維平面中人臉關鍵點與三維空間的人臉旋轉角度的關系判斷所述人臉拍攝圖像是否屬于正面拍攝，如判斷為是，將所述人臉拍攝圖像作為人臉正面拍攝圖像；

S113對所述人臉正面拍攝圖像進行直方圖均衡化處理，將處理后獲取的圖像作為所述人臉正面圖像。

進一步地，所述用戶情緒包括中性、大笑、微笑、露齒笑、生氣、憤怒，所述步驟S130中具體包括：

S131采用基于GoogLeNet改進的分類器進行分類處理獲取用戶情緒，并獲取對應的特征向量組α₁和α₂，若判定所述用戶情緒為中性，則完成分類，并根據所述情緒輸出用戶專注度。

進一步地，所述步驟S131中若判定所述用戶情緒為非中性時，所述步驟S130還包括如下步驟：

S132對所述人臉正面圖像進行灰度變換生成人臉灰度正面圖像，將所述人臉灰度正面圖像和所述人臉正面拍攝圖像輸入到所述GoogLeNet改進分類器進行分類處理，獲取對應特征向量組α₃；

S133根據特征向量組α₁、α₂和α₃，利用線性組合公式進行融合獲取特征向量組α₄；

S134將特征向量組α₄輸入到基于AlexNet改進的神經網絡中，進行識別處理，最終得到精分類結果，并依據精分類結果輸出用戶的專注度，所述精分類結果包括大笑、微笑、露齒笑、生氣、憤怒。