[發(fā)明專利]基于學生表情識別的教學監(jiān)控系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010542286.1
• 申請日: 2020-06-15
• 公開（公告）號: CN111860156A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設計）人: 胡二琳
• 申請（專利權）人: 安徽碧耕軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 龍凱

1.基于學生表情識別的教學監(jiān)控系統(tǒng)，其特征在于，包括：視頻采集器、視頻圖像預處理模塊、人臉識別模塊、分析處理模塊以及輸出模塊；

所述視頻采集器，用于采集教室內學生視頻圖像并傳遞至視頻圖像預處理模塊；所述視頻圖像預處理模塊，用于對所述學生視頻圖像進行分幀處理獲得學生人臉圖像并傳遞至人臉識別模塊；

所述人臉識別模塊，用于對所述學生人臉圖像進行特征提取獲取人臉特征信息；所述人臉識別模塊，用于根據所述人臉特征信息獲取表情識別結果；所述人臉識別模塊，用于傳遞人臉特征信息以及表情識別結果至分析處理模塊；

所述分析處理模塊，用于根據人臉特征信息從數據庫中查詢獲取學生基礎信息；所述學生基礎信息包括基本信息以及學習成績信息；所述分析處理模塊，分析表情識別結果獲取學習狀態(tài)；所述分析處理模塊，用于建立時間-表情-學習狀態(tài)表并通過所述輸出模塊展示出來。

2.根據權利要求1所述的基于學生表情識別的教學監(jiān)控系統(tǒng)，其特征在于，所述分析處理模塊，用于根據人臉特征信息獲取單位時間內學生抬頭率p并存儲到學生數據庫。

3.根據權利要求1或2所述的基于學生表情識別的教學監(jiān)控系統(tǒng)，其特征在于，所述分析處理模塊，用于根據表情識別結果建立時間表情統(tǒng)計表并存儲到學生數據庫；所述分析處理模塊，根據所述時間表情統(tǒng)計表計算疑惑表情率q。

4.根據權利要求3所述的基于學生表情識別的教學監(jiān)控系統(tǒng)，其特征在于，所述分析處理模塊，用于建立關于學生抬頭率p以及疑惑表情率q與學習成績G的關系函數：

其中，k為線性系數。

5.根據權利要求4所述的基于學生表情識別的教學監(jiān)控系統(tǒng)，其特征在于，所述數據庫中存儲人臉特征集合、表情集合以及學習狀態(tài)集合；所述人臉特征集合為人臉特征信息的集合；所述表情集合為表情識別結果的結合；所述學習狀態(tài)集合為學習狀態(tài)的集合；所述人臉特征信息對應表情識別結果；所述表情識別結果對應學習狀態(tài)。

6.如權利要求1-5任意一所述的基于學生表情識別的教學監(jiān)控方法，其特征在于，包括如下過程：

A00：視頻采集器實時采集教室內學生視頻圖像并傳遞至視頻圖像預處理模塊；

A01：視頻圖像預處理模塊對學生視頻圖像進行分幀處理獲得學生人臉圖像并傳遞至人臉識別模塊；

A02：人臉識別模塊對學生人臉圖像進行特征提取獲取人臉特征信息；

A03：人臉識別模塊根據人臉特征信息獲取表情識別結果；

A04：人臉識別模塊傳遞人臉特征信息以及表情識別結果至分析處理模塊；

A05：分析處理模塊根據人臉特征信息從數據庫中查詢獲取學生基礎信息；

A06：分析處理模塊分析表情識別結果獲取學習狀態(tài)并建立時間-表情-學習狀態(tài)表。

7.根據權利要求6所述的基于學生表情識別的教學監(jiān)控方法，其特征在于，A06還包括分析處理模塊根據人臉特征信息獲取單位時間內學生抬頭率p并存儲到學生數據庫。

8.根據權利要求6所述的基于學生表情識別的教學監(jiān)控方法，其特征在于，A06還包括分析處理模塊根據表情識別結果建立時間表情統(tǒng)計表并根據時間表情統(tǒng)計表計算疑惑表情率q。

9.根據權利要求7或8所述的基于學生表情識別的教學監(jiān)控方法，其特征在于，A06還包括建立關于學生抬頭率p以及疑惑表情率q與學習成績G的關系函數。