[發明專利]一種學員課堂學習狀態在線評估方法及系統

在審

• 申請號: 201911047730.6
• 申請日: 2019-10-30
• 公開（公告）號: CN110807585A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 李霞
• 申請（專利權）人: 山東商業職業技術學院
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/20;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本公開提供了一種學員課堂學習狀態在線評估方法及系統。其中，學員課堂學習狀態在線評估方法包括：同步采集學員的視頻圖像及聲音信號；分別將視頻圖像及聲音信號對應輸入至訓練完成的表情識別模型和情緒狀態識別模型中，輸出學員對應的表情類別和情緒狀態類別及對應的概率；其中，表情、情緒狀態和課堂學習狀態劃分的類別均相同；將表情識別結果和情緒狀態識別結果輸入至學員狀態評估模型中，輸出評估的學員課堂學習狀態類別。

技術領域

本公開屬于學員課堂學習狀態評估領域，尤其涉及一種學員課堂學習狀態在線評估方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

課堂教學效果的正確評估，是促進學員成長、教師專業發展和提高課堂教學質量的重要手段，而學員作為課堂的主體，其在課堂上的表現是教學效果評估的重要組成部分。然而，目前由于一個班級中學員人數多，很難做到對每一個學員的課堂表現進行評價，這樣的評價結果往往是籠統的，并不具體。這樣不利于對課堂效果進行量化評估，更不利于對每一個學員的“針對性”培養。本發明可實現對每一個學員上課狀態的在線監測和評估，有效彌補當前學員評價方式的不足，同時也為教師教學效果評估提供了依據。學員課堂學習狀態在線評估系統實時采集學員的面部圖像和聲音信號，通過對面部表情和語速、語調的分析，綜合推斷學員當前的學習狀態。

發明人發現，在學員課堂學習狀態在線評估中，需要解決的問題是如何實時地、準確地評估每一位學員的學習狀態。具體來說可分為以下幾個問題：(1)每一位學員面部表情和聲音信號的實時采集問題。現有的在教室四角安裝攝像頭的方式只能在宏觀上監控整個班的動態，很難實時捕捉每位學員的面部表情和聲音信號；(2)面部表情的實時識別問題。這涉及到學員面部圖像的定位及處理以及面部表情識別的實時性與準確性問題。(3)面部表情識別結果與聲音情緒識別結果相結合實現學習狀態識別問題。如果只是依靠面部表情或者聲音識別結果，很難準確且全面地判斷學員當時的精神狀態，必須結合兩者的識別結果，同時還需考慮上一時刻學員的精神狀態，以提高識別的準確性。

發明內容

為了解決上述問題，本公開提供一種學員課堂學習狀態在線評估方法及系統，其通過對視頻圖像的處理實時識別學員學習時的面部表情，同時通過對聲音信號的處理，實時識別學員學習時的情緒狀況，通過特定模型把表情識別結果和情緒識別結果相融合，實現了對學員學習狀態的實時識別。

為了實現上述目的，本公開采用如下技術方案：

本公開的第一方面提供一種學員課堂學習狀態在線評估方法，其包括：

同步采集學員的視頻圖像及聲音信號；

分別將視頻圖像及聲音信號對應輸入至訓練完成的表情識別模型和情緒狀態識別模型中，輸出學員對應的表情類別和情緒狀態類別及對應的概率；其中，表情、情緒狀態和課堂學習狀態劃分的類別均相同；

將表情識別結果和情緒狀態識別結果輸入至學員狀態評估模型中，輸出評估的學員課堂學習狀態類別；其中，學員狀態評估模型為：

R_ti＝(αE_ti+βS_ti)·γ_(t-1)i

其中，i為第i種課堂學習狀態，i取值范圍為1～M，M表示課堂學習狀態的總類別；R_ti表示t時刻第i種課堂學習狀態的概率值；E_ti為t時刻第i種表情類別的概率值；S_ti為t時刻第i種情緒狀態類別的概率值；α、β為已知權重系數，且α+β＝1；γ_(t-1)i為t-1時刻的結果識別系數，若t-1時刻識別為第i種課堂學習狀態，其值為1，否則為0.9；t為大于或等于1的正整數，當t＝1時，γ_(t-1)i＝1。

本公開的第二個方面提供一種學員課堂學習狀態在線評估系統，其包括：