[發(fā)明專利]一種教學(xué)狀態(tài)評估方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011042357.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112308746A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 梁美玉;于婉瑩;杜軍平;陳徵;黃勇康;王笑笑
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 李莎

本說明書一個或多個實施例提供一種教學(xué)狀態(tài)評估方法、裝置及電子設(shè)備，通過多尺度卷積殘差神經(jīng)網(wǎng)絡(luò)確定檢測對象，在行為識別方面，通過深度可分離卷積神經(jīng)網(wǎng)絡(luò)提取檢測對象行為特征，通過邏輯回歸算法確定檢測對象當(dāng)前行為；在表情識別方面，通過深度可分離卷積神經(jīng)網(wǎng)絡(luò)確定檢測對象表情特征，通過注意力機制優(yōu)化檢測對象表情特征，通過softmax分類器確定檢測對象當(dāng)前表情。本公開通過上述機制，提高了識別速度且提高了識別率。

技術(shù)領(lǐng)域

本說明書一個或多個實施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種教學(xué)狀態(tài)評估方法、裝置及電子設(shè)備。

背景技術(shù)

隨著大規(guī)模信息網(wǎng)絡(luò)技術(shù)在教育領(lǐng)域的應(yīng)用，逐步形成和積累了前所未有的教育大數(shù)據(jù)資源，包括文本、圖像和視頻等跨媒體數(shù)據(jù)等，這些龐大的數(shù)據(jù)中蘊藏著豐富而有價值的信息。教育大數(shù)據(jù)時代的降臨為教育信息化的發(fā)展帶來了全新的思路和機遇。隨著人們對教育投注越來越多的重視，傳統(tǒng)的課堂教學(xué)已經(jīng)無法滿足人們的需求。傳統(tǒng)的課堂教學(xué)是由教師采用課堂觀察和提問的方式與學(xué)生交互，無疑會因為老師精力有限等原因，使得教師與學(xué)生之間信息傳遞和反饋存在一定的局限性，教師無法及時、精確的掌握學(xué)生的情緒變化、注意力變化。因此，利用課堂教學(xué)視頻數(shù)據(jù)，結(jié)合計算機視覺和視頻智能處理技術(shù)，對課堂中學(xué)生狀態(tài)進行檢測和識別，構(gòu)建智能化的智能教學(xué)評估系統(tǒng)，使教師及時了解學(xué)生的課堂狀態(tài)與注意力的變化，具有重要的研究價值和應(yīng)用前景。

雖然目前已經(jīng)存在一些教育狀態(tài)評估系統(tǒng)，然而現(xiàn)有的教育狀態(tài)評估方法在復(fù)雜的課堂場景下去評估課堂狀態(tài)是存在一定局限性的。一方面，現(xiàn)有的教育狀態(tài)評估方法無法迅速得出學(xué)生對于課堂內(nèi)容、老師授課方式的信息反饋；另一方面，現(xiàn)有的教育狀態(tài)評估方法在用于復(fù)雜的課堂場景下并未考慮到人臉遮擋問題，因此導(dǎo)致其識別率較低。所以，現(xiàn)有的教育狀態(tài)評估方法存在識別速度慢且識別率低的問題。

發(fā)明內(nèi)容

有鑒于此，本說明書一個或多個實施例的目的在于提出一種教學(xué)狀態(tài)評估方法、裝置及電子設(shè)備，以解決現(xiàn)有的教育狀態(tài)評估方法存在識別速度慢且識別率低的問題。

基于上述目的，本說明書一個或多個實施例提供了一種教學(xué)狀態(tài)評估方法，包括：

獲取包括至少一個檢測對象的圖像信息；

對所述圖像信息進行處理，確定所有檢測對象的圖像區(qū)域；

對所述圖像區(qū)域進行處理，確定所有檢測對象的當(dāng)前行為；

對所述圖像區(qū)域進行處理，確定所有檢測對象的當(dāng)前表情；

根據(jù)所有檢測對象的當(dāng)前行為和當(dāng)前表情，確定教學(xué)狀態(tài)評估結(jié)果。

可選的，所述對所述圖像信息進行處理，確定所有檢測對象的圖像區(qū)域，包括：

利用多尺度卷積殘差神經(jīng)網(wǎng)絡(luò)，處理所述圖像信息，得到至少三種不同尺寸的特征圖；

在所述至少三種不同尺寸的特征圖上，分別生成不同大小的若干預(yù)測框；

利用非極大值抑制算法，根據(jù)預(yù)設(shè)的置信度閾值，篩選置信度最高的所述預(yù)測框，得到所述檢測對象的圖像區(qū)域；

其中，計算所述預(yù)測框的置信度的公式為：

其中，表示第i個特征圖的第j個預(yù)測框的置信度；P_r(Object)表示當(dāng)前預(yù)測框存在檢測對象的概率；表示當(dāng)前預(yù)測框與真實框的交集和并集的比值。

可選的，所述對所述圖像區(qū)域進行處理，確定所有檢測對象的當(dāng)前行為，包括：

利用深度可分離卷積神經(jīng)網(wǎng)絡(luò)，處理所述圖像區(qū)域，得到檢測對象行為特征；

利用邏輯回歸算法，根據(jù)所述檢測對象行為特征，計算所述檢測對象各個行為的概率，取概率最大的行為作為檢測對象的當(dāng)前行為。