[發明專利]一種多模態的學生課堂行為分析系統和方法

有效

• 申請號: 201711469436.5
• 申請日: 2017-12-29
• 公開（公告）號: CN108090857B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 姚澤平;路紅;周雅倩;李超鵬
• 申請（專利權）人: 復旦大學
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G09B5/14;G10L25/51
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;王潔平

本發明屬于計算機技術領域，具體為一種多模態的學生課堂行為分析系統和方法。本發明系統包括學生注意力檢測模塊、教師授課內容檢測模塊、教師授課風格檢測模塊和相關性分析模塊；學生注意力檢測模塊檢測學生的專注率，教師授課內容檢測模塊檢測教師的授課內容，教師授課風格檢測模塊檢測教師的授課風格，相關性分析模塊分析學生注意力檢測模塊測得的學生的專注率和教師授課內容檢測模塊測得的教師的授課內容、以及教師授課風格檢測模塊測得的授課風格之間的聯系；本發明對學生的專注率與音頻特征、授課主題之間的相關性進行分析，能幫助教師調整授課風格，提升學生的專注率。

技術領域

本發明屬于計算機圖像處理，文本處理和音頻處理技術領域，具體涉及一種多模態的課堂行為分析系統和方法。

背景技術

隨著智能手機和其他移動設備的不斷增多，學生在課堂中有時候會思想不集中和上課不專心。但是，教育部門仍舊缺少一個有力的工具去評估學生上課思想不集中的嚴重性和它對學生學業表現的影響。在本發明中，我們去識別學生們在課堂中不同時間段的專注率，與教師的授課風格、授課主題相聯系。

利用計算機視覺技術，文本處理技術進行課堂行為分析是一個非常具有挑戰性的工作，首先，我們需要在教學視頻中自動地檢測出學生所在的位置，并實時地跟蹤學生的位置，同時，我們需要對教師的授課內容和授課風格進行自動的檢測，這對算法的精度和實時性有較高的要求。利用計算機對學生課堂行為進行分析，可以幫助我們實時地了解學生的學習狀態，和教師的授課內容，授課風格對學生上課專注率的影響。

學生課堂行為分析涉及到學生的檢測，學生身份的識別，也就是需要利用人臉檢測技術，人臉認證和跟蹤技術。對于單個學生的行為涉及到是否專注于黑板或者老師，是否在做筆記等。對于學生的群體分析，我們需要分析在不同時間段和空間的學生們的行為。同時，我們需要從教師的語音信息中提取教師的授課內容和授課風格，需要利用文本處理技術對文本的主題進行提取，以及利用語音處理技術提取教師的授課風格，如語速，音調等信息。

到目前為止，很多研究者提出了許多基于課堂的視頻分析，而且主要針對的是授課內容，學生在教室中的位置和身份。比如，有的研究者提出的方法可以自動識別學生的位置和身份，同時分析學生的社交關系以及位置與最終的學習成績之間的關系。

發明內容

本發明的目的在于提供一種能夠提供魯棒的、準確的、適應性強的基于多模態的學生課堂行為分析系統和方法。本發明提供的基于多模態的學生課堂行為分析方法，利用檢測學生人臉的朝向，提取教師的授課主題和授課風格，從而得到魯棒的、準確的、適應性強的基于多模態的學生課堂行為分析方法。本發明提出的基于計算機視覺，文本處理，語音處理的學生課堂行為分析算法，是基于對學生行為專注率的分析，以及教師授課內容和授課風格的檢測，從而能夠對教師的教學效果有一個總體的評估。在多樣的教學視頻和復雜的背景下，該方法能夠較為準確地體現學生行為分析的價值。

本發明的技術方案具體介紹如下。

一種多模態的學生課堂行為分析系統，其包括學生注意力檢測模塊、教師授課內容檢測模塊、教師授課風格檢測模塊和相關性分析模塊；學生注意力檢測模塊檢測學生的專注率，教師授課內容檢測模塊檢測教師的授課內容，教師授課風格檢測模塊檢測教師的授課風格，相關性分析模塊分析學生注意檢測模塊測得的學生的專注率和教師授課內容檢測模塊測得的教師的授課內容、以及教師授課風格檢測模塊測得的授課風格之間的聯系；其中：

學生注意力檢測模塊包括人臉檢測子模塊和學生視角檢測子模塊；所述人臉檢測子模塊，利用MTCNN(Multi-task Convolutional Neural Network)算法得到初步人臉檢測結果后，依次經過顏色直方圖過濾和時間序列優化，得到最終的人臉檢測結果，用于學生視角檢測子模塊；所述學生視角檢測子模塊從人臉檢測子模塊得到的最終的檢測到的人臉提取特征點Landmark，利用迭代法求解PnP(Pespective-n-Point)，得到人臉的朝向；