[發(fā)明專利]基于人臉監(jiān)測的課堂學(xué)生狀態(tài)分析方法及裝置

在審

• 申請?zhí)枺?/td>: 201811534551.0
• 申請日: 2018-12-14
• 公開（公告）號: CN109815795A
• 公開（公告）日: 2019-05-28
• 發(fā)明（設(shè)計）人: 鄭子奇;徐國強(qiáng);邱寒
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20;G06N3/04;G06N3/08
• 代理公司: 北京中強(qiáng)智尚知識產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

本發(fā)明涉及智能課堂技術(shù)領(lǐng)域。本發(fā)明實施例提供一種基于人臉監(jiān)測的課堂學(xué)生狀態(tài)分析方法及裝置，其中該方法包括：采集關(guān)于課堂的課堂圖像，并識別該課堂圖像中多個學(xué)生的身份信息；檢測所述課堂圖像中各個學(xué)生的人臉的面部動作；基于微表情識別神經(jīng)網(wǎng)絡(luò)模型，獲取所檢測的面部動作對應(yīng)的面部表情，其中所述微表情識別神經(jīng)網(wǎng)絡(luò)模型是依據(jù)訓(xùn)練面部動作和對應(yīng)的訓(xùn)練面部表情進(jìn)行訓(xùn)練的；將各個學(xué)生的課堂狀態(tài)存儲至對應(yīng)于所述各個學(xué)生的身份信息的教育分析報告，其中該課堂狀態(tài)包括面部表情。由此，應(yīng)用人工智能技術(shù)，從課堂圖像中識別并監(jiān)測學(xué)生的上課狀態(tài)，并通過教育分析報告供后期老師和家長參考，實現(xiàn)了閉環(huán)式智慧教育。

技術(shù)領(lǐng)域

本發(fā)明涉及智能課堂技術(shù)領(lǐng)域，具體地涉及一種基于人臉監(jiān)測的課堂學(xué)生狀態(tài)分析方法及裝置。

背景技術(shù)

隨著科學(xué)技術(shù)的不斷發(fā)展，將信息技術(shù)應(yīng)用在課堂學(xué)習(xí)中的智能課堂技術(shù)得到了飛速發(fā)展，并且還出現(xiàn)了利用計算機(jī)監(jiān)測分析課堂學(xué)習(xí)狀態(tài)的新型技術(shù)。

但是，如今的智慧教育或K12課堂仍然處于萌芽階段，K12課堂教育一直都是大家關(guān)注的焦點，但是由于基礎(chǔ)教育行業(yè)的自身規(guī)律、個體用戶獨(dú)立性缺乏等因素，一直缺乏能夠規(guī)模化走入教師日常教學(xué)活動的的互聯(lián)網(wǎng)應(yīng)用。

因此，如何借助現(xiàn)代互聯(lián)網(wǎng)技術(shù)監(jiān)測課堂上學(xué)生的狀態(tài)，以反饋完善教學(xué)方式從而實現(xiàn)智慧教學(xué)是目前業(yè)界的熱門研究方向。

發(fā)明內(nèi)容

本發(fā)明實施例的目的是提供一種基于人臉監(jiān)測的課堂學(xué)生狀態(tài)分析方法及裝置，應(yīng)用人工智能技術(shù)監(jiān)測學(xué)生上課的課堂狀態(tài)，并能夠完成反饋以實現(xiàn)閉環(huán)式智慧教育。

為了實現(xiàn)上述目的，本發(fā)明實施例一方面提供一種基于人臉監(jiān)測的課堂學(xué)生狀態(tài)分析方法，包括：采集關(guān)于課堂的課堂圖像，并識別該課堂圖像中多個學(xué)生的身份信息；檢測所述課堂圖像中各個學(xué)生的人臉的面部動作；基于微表情識別神經(jīng)網(wǎng)絡(luò)模型，獲取所檢測的面部動作所對應(yīng)的面部表情，其中所述微表情識別神經(jīng)網(wǎng)絡(luò)模型是依據(jù)訓(xùn)練面部動作和對應(yīng)的訓(xùn)練面部表情進(jìn)行訓(xùn)練的；將各個學(xué)生的課堂狀態(tài)存儲至對應(yīng)于所述各個學(xué)生的身份信息的教育分析報告，其中該課堂狀態(tài)包括面部表情。

本發(fā)明實施例另一方面提供一種基于人臉監(jiān)測的課堂學(xué)生狀態(tài)分析裝置，包括：課堂模型構(gòu)建單元，用于采集關(guān)于課堂的課堂圖像，并識別該課堂圖像中多個學(xué)生的身份信息；面部動作檢測單元，用于檢測所述課堂圖像中各個學(xué)生的人臉的面部動作；面部表情抽象單元，用于基于微表情識別神經(jīng)網(wǎng)絡(luò)模型，獲取所檢測的面部動作所對應(yīng)的面部表情，其中所述微表情識別神經(jīng)網(wǎng)絡(luò)模型是依據(jù)訓(xùn)練面部動作和對應(yīng)的訓(xùn)練面部表情進(jìn)行訓(xùn)練的；教育分析報告生成單元，用于將各個學(xué)生的課堂狀態(tài)存儲至對應(yīng)于所述各個學(xué)生的身份信息的教育分析報告，其中該課堂狀態(tài)包括面部表情。

本發(fā)明實施例另一方面提供一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，其中，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)本申請上述的方法的步驟。

本發(fā)明實施例另一方面提供一種計算機(jī)存儲介質(zhì)，其上存儲有計算機(jī)程序，其中，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)本申請上述的方法的步驟。

通過上述技術(shù)方案，提出了采集課堂圖像，并識別課堂圖像中學(xué)生的身份信息，從而建立課堂模型，然后檢測課堂圖像中各個學(xué)生的人臉的面部動作，并通過微表情識別神經(jīng)網(wǎng)絡(luò)模型獲取所檢測的面部動作所對應(yīng)的面部表情，進(jìn)而自動記錄各個學(xué)生的課堂狀態(tài)至對應(yīng)于各個學(xué)生的身份信息的教育分析報告。由此，應(yīng)用人工智能技術(shù)，從課堂圖像中識別并監(jiān)測學(xué)生的上課狀態(tài)，并通過教育分析報告供后期老師和家長參考，能夠反饋完善教學(xué)方式，從而實現(xiàn)了閉環(huán)式智慧教育。

本發(fā)明實施例的其它特征和優(yōu)點將在隨后的具體實施方式部分予以詳細(xì)說明。

附圖說明

附圖是用來提供對本發(fā)明實施例的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與下面的具體實施方式一起用于解釋本發(fā)明實施例，但并不構(gòu)成對本發(fā)明實施例的限制。在附圖中：