[發明專利]一種課堂實時監測與評估系統及其工作方法、創建方法

在審

• 申請號: 201811242461.4
• 申請日: 2018-10-24
• 公開（公告）號: CN109359606A
• 公開（公告）日: 2019-02-19
• 發明（設計）人: 顧曉東;王仕昭
• 申請（專利權）人: 江蘇君英天達人工智能研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

1.一種課堂實時監測與評估系統，其特征在于，所述課堂實時監測與評估系統為一FPGA系統，包括依次連接的視頻采集模塊、數據調度模塊、圖像分析模塊、結果統計模塊；

所述視頻采集模塊用以實時采集教室內的視頻圖像，將采集的視頻圖像解析成若干幀后依次發送至數據調度模塊；

所述數據調度模塊包括至少一個第一存儲器和一先入先出隊列子模塊，數據調度模塊將接收到的圖像幀發送至第一存儲器，經過先入先出隊列依次進入圖像分析模塊進行圖像分析；

所述圖像分析模塊包括一基于YOLO網絡的行為表情分析網絡模型，該行為表情分析網絡模型包括若干個流水設置的網絡層、用以存儲每個網絡層輸出結果的兩個第二存儲器、以及用以輸出分析結果的YOLO輸出層；

每個所述網絡層包括對應設置的卷積層與池化層，卷積層和池化層的輸出結果交替寫入兩個第二存儲器中，以實現乒乓操作；

所述行為表情分析網絡模型隔層之間的啟動切換由握手信號決定，即：由握手信號啟動的卷積層和池化層交替地從兩個第二存儲器中讀取數據，進行處理后發送至下一級網絡層；

所述YOLO輸出層分別與最后一級網絡層、結果統計模塊連接，用以將輸出結果傳輸至結果統計模塊；

所述結果統計模塊接收圖像分析模塊發送的分析結果，對其中的異常行為進行統計分析。

2.根據權利要求1所述的課堂實時監測與評估系統，其特征在于，所述第一存儲器為同步動態隨機存儲器；

所述第二存儲器為靜態隨機存取存儲器。

3.根據權利要求1所述的課堂實時監測與評估系統，其特征在于，所述池化層為最大池化層。

4.根據權利要求1所述的課堂實時監測與評估系統，其特征在于，所述數據調度模塊與圖像分析模塊之間設置有一圖像調整模塊，用以接收數據調度模塊輸出的圖像，縮放后發送至兩個第二存儲器中供網絡層調用。

5.根據權利要求1所述的課堂實時監測與評估系統，其特征在于，所述行為表情分析網絡模型還具有一權重設置模塊，用以設置網絡層的卷積核權重。

6.一種基于權利要求1-5中任意一項所述的課堂實時監測與評估系統的工作方法，其特征在于，所述工作方法包括：

實時采集課堂上學生的行為和表情圖像，將之導入課堂實時監測與評估系統進行課堂表現分析和統計，課堂表現包括異常行為和正常行為兩種，以及

響應于同一時刻的異常行為的學生數量大于一設定數量閾值，發出警告。

7.根據權利要求6所述的課堂實時監測與評估方法，其特征在于，所述方法還包括：

對采集的每幀圖像中的學生行為表情進行課堂表現評分，低于設定分值的課堂表現被定義成異常行為。

8.根據權利要求6所述的課堂實時監測與評估方法，其特征在于，所述方法還包括：

將一次課堂過程劃分成若干個時間段t_i，統計每個時間段中采集的所有圖像中的學生行為表情的課堂表現的評分a_i，i＝{1,2,…,n}，根據下述公式計算本次課堂的教學結果總評分S：

其中，ω_i是每個時間段評分在計算教學結果總評分時所占據的權重，

9.根據權利要求6所述的課堂實時監測與評估方法，其特征在于，所述方法還包括：

將所述結果統計模塊的統計分析結果在課堂結束后發送至一指定客戶端。

10.一種課堂實時監測與評估系統的創建方法，其特征在于，所述課堂實時監測與評估系統的創建方法包括：

S1：采集學生的行為和表情圖像，疊加標準的人臉表情數據庫以創建課堂學生行為表情數據庫；

S2：對課堂學生行為表情數據庫中的數據進行深度網絡訓練，經多次循環以獲取最佳的網絡參數；

S3：根據步驟S2中獲取的網絡參數以建立課堂實時監測與評估系統。