[發明專利]一種基于表情識別的課堂教學評價方法及系統

在審

• 申請號: 201810558159.3
• 申請日: 2018-06-01
• 公開（公告）號: CN108875606A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 周明強;張申申;張程;劉慧君;朱慶生
• 申請（專利權）人: 重慶大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06Q50/20
• 代理公司: 杭州千克知識產權代理有限公司 33246
• 代理人: 鄭嫻雅

1.一種基于表情識別的課堂教學評價方法，其特征在于，包括如下步驟：

S1，間隔時間采集教師授課圖像，為每次采集的教師授課圖像設置時間標簽，將教師授課圖像與時間標簽關聯存儲；

S2，以相同或不相同的時間間隔采集學生課堂圖像，對學生課堂圖像進行處理，獲得所有學生在每個采集時間點的出勤狀態、聽課狀態和理解程度，對每個學生在每個采集時間點的聽課狀態和/或理解程度進行課堂表現達標判斷，若不達標則標記該采集時間點為該學生的一個視頻段標簽；

S3，基于學生所有采集時間點的出勤狀態、聽課狀態和理解程度，獲得該學生的課堂表現評價，利用學生信息、課程信息、課堂表現評價和視頻段標簽創建學生集合；

S4，將學生集合中的視頻段標簽轉換為時間標簽，提取與所述時間標簽關聯的教師授課圖像中的知識點，計算每個知識點的密集程度并將所有知識點按照密集程度進行排序；

和/或基于學生集合中的課堂表現評價進行課堂教學質量評價。

2.如權利要求1所述的基于表情識別的課堂教學評價方法，其特征在于，所述步驟S1包括：

S11，提取教師授課圖像中課堂PPT圖像上的標題作為該教師授課圖像的知識點，并將教師授課圖像的采集時間標記為時間標簽；

S12，合并知識點相同的教師授課圖像的時間標簽，獲得新的時間標簽，每個知識點記作一個包含時間標簽的元組對(Ki，[ts,td])，整個課堂知識點保存為一張可查詢的時間表：

ktable＝{(k1,[ts1,td1]),(k2,[ts2,td2]),…(ki,[tsi,tdi])}；

其中，ki表示第i個知識點；i為大于等于1的整數；[tsi,tdi]表示第i個知識點的時間標簽；tsi、tdi分別表示第i個知識點在教師授課視頻中的開始時間和截止時間，并且ts1<td1<ts2<…tsi<tdi。

3.如權利要求1所述的基于表情識別的課堂教學評價方法，其特征在于，所述步驟S2包括：

S21，對采集時間點t_j采集的學生課堂圖像進行多目標人臉檢測，獲取多個人臉圖像；其中，t_j為第j次采集學生課堂圖像的時間，j為大于等于1的整數；

S22,對人臉圖像進行識別，獲得每個人臉圖像對應的學生信息s_m和出勤狀態A_mj；提取每個人臉圖像中的表情特征，基于表情特征判定該人臉圖像對應的學生在采集時間點t_j的聽課表情e_mj；

其中，s_m表示第m個學生的信息；A_mj表示第m個學生在t_j時刻的出勤狀態；e_mj表示第m個學生在t_j時刻的聽課表情；m為大于等于1的整數；

S23，通過聽課表情e_mj計算該學生在采集時間點t_j的聽課狀態L_mj和理解程度U_mj；

其中，L_mj表示第m個學生在t_j時刻的聽課狀態，U_mj表示第m個學生在t_j時刻的理解程度；

S24，依據聽課狀態L_mj和/或理解程度U_mj判定第m個學生在采集時間點t_j的課堂表現是否達標，若不達標，將采集時間點t_j標記為第m個學生的一個視頻段標簽，若達標，重復執行步驟S22、S23和S24直至處理完步驟S21中的所有人臉圖像；

S25,令j＝j+1,返回步驟S21，直到整個課堂的學生課堂圖像處理完成。