[發(fā)明專利]課堂行為分析方法、系統(tǒng)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011000661.6
• 申請日: 2020-09-22
• 公開（公告）號: CN112132009A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 周立新
• 申請（專利權(quán)）人: 湖南惟楚有才教育科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q10/06;G06Q50/20;G09B5/02
• 代理公司: 長沙鑫澤信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43247
• 代理人: 刁飛

1.一種課堂行為分析方法，應(yīng)用于多媒體課堂教學(xué)，通過人工智能技術(shù)及大數(shù)據(jù)技術(shù)實現(xiàn)課堂錄播、無感式人臉考勤及課堂行為分析，其特征在于，包括如下步驟：

步驟S10、錄制課堂視頻的同時實時采集教學(xué)過程中教師與學(xué)生的生物信息，所述生物信息包括行為數(shù)據(jù)、位置數(shù)據(jù)、表情數(shù)據(jù)及肢體動作數(shù)據(jù)；

步驟S20、根據(jù)所述生物信息進行多維度分析并生成課堂質(zhì)量報告；

步驟S30、將錄制的課堂視頻及生成的課堂質(zhì)量報告發(fā)送至云端保存。

2.根據(jù)權(quán)利要求1所述的課堂行為分析方法，其特征在于，所述步驟S20包括如下子步驟：

步驟S21、對教師的生物信息進行編碼得到教學(xué)行為分析，所述教學(xué)行為分析包括老師講授、指導(dǎo)學(xué)生、學(xué)生演示匯報、教師板書、師生互動、學(xué)生討論、課件展示及教學(xué)資源展示，對各類型的教學(xué)行為進行生成出現(xiàn)時間及持續(xù)時長的可視化報告；

步驟S22、對學(xué)生的生物信息進行編碼得到學(xué)生考勤分析，對教室內(nèi)滿足識別條件的人臉進行識別，同時，通過實時分析技術(shù)搭配學(xué)生離場動作識別，對學(xué)生早退人數(shù)進行識別，生成具有出席人數(shù)、應(yīng)到人數(shù)、遲到人數(shù)、早退人數(shù)及出席率的可視化報告；

步驟S23、對學(xué)生的生物信息進行編碼得到學(xué)生學(xué)情分析，根據(jù)所述生物信息利用大數(shù)據(jù)算法分析學(xué)生學(xué)情，所述學(xué)生學(xué)情分析包括學(xué)生專注度分析、學(xué)生動作分析及學(xué)生表情分析。

3.根據(jù)權(quán)利要求2所述的課堂行為分析方法，其特征在于，所述步驟S23包括如下子步驟：

步驟S231、學(xué)生專注度分析，建立學(xué)生專注度的大數(shù)據(jù)采集標準，采用大數(shù)據(jù)算法計算整堂課各階段學(xué)生的專注度情況，并以時間軸的形式對學(xué)生在課堂時間內(nèi)的專注度變化趨勢進行可視化圖形展示；

步驟S232、學(xué)生動作分析，根據(jù)所述肢體動作數(shù)據(jù)，對頭部、身體、四只進行實時分割與追蹤，并實時識別學(xué)生的肢體動作，所述肢體動作包括趴桌子、舉手及站立；

步驟S233、學(xué)生表情分析，根據(jù)所述表情數(shù)據(jù)，對人物面部數(shù)據(jù)識別和面部特征點采集，通過視頻流的微表情采集和分析識別出學(xué)生的表情，并數(shù)字化處理。

4.根據(jù)權(quán)利要求3所述的課堂行為分析方法，其特征在于，步驟S233中，采用深度學(xué)習(xí)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)算法檢測人臉的位置，將原始圖像通過尺度變化為不同尺寸，構(gòu)件圖像結(jié)構(gòu)，然后通過整體人臉及人臉的各種特征點進行定位。

5.根據(jù)權(quán)利要求4所述的課堂行為分析方法，其特征在于，通過Face++算法對收集到的人臉圖片進行深度訓(xùn)練，并在LFW數(shù)據(jù)集上驗證準確率。

6.根據(jù)權(quán)利要求3所述的課堂行為分析方法，其特征在于，步驟S233中，采用Adaboost-KNN動態(tài)人臉情感識別技術(shù)識別人臉表情，并創(chuàng)建具體模型為：

g＝SR(g₀+AT+ST)+t；

其中，S為放大系數(shù)，R為旋轉(zhuǎn)矩陣，g₀為標準模型，A和S分別代表運動單元和形狀單元，T為對應(yīng)的變化參數(shù)，t為模型的空間轉(zhuǎn)換量。

7.根據(jù)權(quán)利要求1-6任一所述的課堂行為分析方法，其特征在于，步驟S10中，采用弗蘭德斯教學(xué)分析法及Rt-Ch教學(xué)模型實現(xiàn)對行為的識別和采集。

8.一種課堂行為分析系統(tǒng)，應(yīng)用于多媒體課堂教學(xué)，通過人工智能技術(shù)及大數(shù)據(jù)技術(shù)實現(xiàn)課堂錄播、無感式人臉考勤及課堂行為分析，其特征在于，包括：

圖像采集裝置，用于錄制課堂視頻的同時采集教學(xué)過程中教師與學(xué)生的生物信息，所述生物信息包括行為數(shù)據(jù)、位置數(shù)據(jù)、表情數(shù)據(jù)及肢體動作數(shù)據(jù)；

分析主機，根據(jù)所述生物信息進行多維度分析并生成課堂質(zhì)量報告；

云端服務(wù)器，所述云端服務(wù)器與所述分析主機通信連接，所述分析主機將錄制的課堂視頻及生成的課堂質(zhì)量報告發(fā)送至所述云端服務(wù)器保存。