[發明專利]一種實時表情分析方法及其裝置

有效

• 申請號: 201911393468.0
• 申請日: 2019-12-30
• 公開（公告）號: CN111178263B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 海克洪;王迎曙
• 申請（專利權）人: 武漢美和易思數字科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/52;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06Q50/20
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 陳凱

本發明提出了一種實時表情分析方法以及裝置，在電子班牌中設置人臉識別單元、表情分析單元、學情分析單元和狀態提示單元，可以將表情識別融入學情分析，不僅為學校提供了學生學習情況數據便于督促老師改進教學方式，同時學生也可了解自身學習情況并做出學習計劃的調整；另外，電子班牌本身可以存儲有學生和教師的基本信息，通過攝像頭獲取人臉圖像，根據人臉圖像匹配可以快速的找到對應的人員，簡化人臉識別的算法。由于電子班牌本身可以獲取學生身份信息、教師身份信息和課表信息等，在現有信息的基礎上增加人臉識別與表情分析功能可以簡化數據采集的過程。

技術領域

本發明涉及表情分析領域，尤其涉及一種實時表情分析方法及其裝置。

背景技術

高校學生管理順應互聯網、人工智能等技術變革也注入了新的方法，課堂學情分析作為檢測學生學習情況、評估課堂授課質量的重要組成部分，引入了表情識別技術，更直觀的讓學校了解課堂管理情況以便于針對性的調整教育方式,更好的做到因材施教。但是由于表情識別技術由于光強和姿勢問題，表情識別技術受到較大的干擾，導致最后的表情識別不夠精確，并且表情識別技術算法復雜。因此，為解決上述問題，本發明提供一種實時表情分析方法及其裝置，可以簡化表情分析算法的復雜度，提高表情分析的準確率。

發明內容

有鑒于此，本發明提出了一種實時表情分析方法及其裝置，可以簡化表情分析算法的復雜度，提高表情分析的準確率。

本發明的技術方案是這樣實現的：本發明提供了一種實時表情分析方法，包括以下步驟：

S1、建立用于存儲人臉圖像的人臉數據庫，構建卷積神經網絡，由卷積神經網絡對人臉數據庫中的人臉圖像數據進行訓練獲得表情識別模型；

S2、使用OpenCV檢測人臉，將檢測到的人臉特征圖像放入表情識別模型中，表情識別模型根據人臉特征圖像內容給出每種表情的概率，選擇概率最大的表情為結果表情，將該結果表情與時間標簽關聯；

S3、構建結果表情與學情的映射關系；

S4、根據結果表情獲知學生的學情信息，分析各類結果表情的數量和總人數的關系，得出學生課堂整體學情情況；根據時間段內，個體學生的結果表情種類和數量，分析個體學生的課堂學情情況。

在以上技術方案的基礎上，優選的，S1中的卷積神經網絡包含5個卷積層和3個全連接層；

第一卷積層對輸入的圖像做過濾處理，第二卷積層的輸入連接到第一卷積層的輸出，其對第一卷積層輸出的圖像做過濾處理；第三卷積層的輸入連接到第二卷積層的輸出，其對第二卷積層的輸出做卷積處理；第四卷積層的輸入連接到第三卷積層的輸出，其對第三卷積層的輸出做卷積處理；第五卷積層的輸入連接到第四卷積層的輸出，其對第四卷積層的輸出做卷積處理；第一全連接層連接到第五卷積層的輸出，第二全連接層將第一全連接層的輸出作為輸入，第三全連接層將第二全連接層的輸出作為輸入。

進一步優選的，第一卷積層具有96個大小為11×11的內核，第二卷積層具有128個5×5×48的內核，第三卷積層具有192個大小為3×3×128的內核，第四卷積層具有192個大小為3×3×192的內核，第五卷積層具有128個大小為3×3×192的內核，3個全連接層均具有1024個神經元。

在以上技術方案的基礎上，優選的，S2中使用OpenCV的Haar特征級聯分類器檢測和切割人臉，所述Haar特征級聯分類器返回圖片中的人臉位置信息，得到人臉位置信息后便可將圖片中所有人臉圖像提取出，并將提取出的人臉圖像轉換為單通道灰度圖像。