[發明專利]基于深度學習目標檢測的教室課堂質量評估系統及方法

在審

• 申請號: 201910838429.0
• 申請日: 2019-09-05
• 公開（公告）號: CN110619460A
• 公開（公告）日: 2019-12-27
• 發明（設計）人: 歐中洪;康霄陽;宋美娜
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/20;G06K9/00
• 代理公司: 11201 北京清亦華知識產權代理事務所(普通合伙)
• 代理人: 王艷斌

1.一種基于深度學習目標檢測的教室課堂質量評估系統，其特征在于，包括：

數據獲取模塊，用于獲取教室的實時監控視頻流和對應的時間戳；

視頻預處理模塊，用于對所述實時監控視頻流進行預處理；

檢測計算模塊，用于根據預處理后的實時監控視頻流輸入預先訓練的視頻幀送入模型，以檢測教室監控視頻畫面的出勤人數和/或抬頭人數；

統計評估模塊，用于根據所述出勤人數和/或抬頭人數生成評估結果。

2.根據權利要求1所述的系統，其特征在于，還包括：

展示輸出模塊，用于展示所述評估結果。

3.根據權利要求1所述的系統，其特征在于，所述數據獲取模塊還包括將所述實時監控視頻流和對應的時間戳轉化為預設格式。

4.根據權利要求1所述的系統，其特征在于，所述視頻預處理模塊包括：

第一處理單元，用于對所述實時監控視頻流進行解碼和轉碼，以將所述實時監控視頻流轉換為目標環境和配置下支持的格式；

第二處理單元，用于利用關鍵幀截取技術，使用預設的時間間隔對所述時監控視頻流進行截取，獲得可送至深度學習模型處理的視頻幀；

第三處理單元，用于對所述視頻幀進行歸一化處理。

5.根據權利要求1所述的系統，其特征在于，所述檢測計算模塊具體用于采用SSD算法以通過從不同尺度特征圖上預定義的默認邊界框中估計對象類別，實時檢測對象。

6.根據權利要求1所述的系統，其特征在于，所述檢測計算模塊具體用于采用S3FD檢測算法以利用尺度不變框架進行檢測，利用尺度補償邊界框匹配策略提高小尺度目標的檢測效果。

7.一種基于深度學習目標檢測的教室課堂質量評估方法，其特征在于，采用如權利要求1-6任意一項所述的系統，其中，方法包括以下步驟：

獲取教室的實時監控視頻流和對應的時間戳；

對所述實時監控視頻流進行預處理；

根據預處理后的實時監控視頻流輸入預先訓練的視頻幀送入模型，以檢測教室監控視頻畫面的出勤人數和/或抬頭人數；

根據所述出勤人數和/或抬頭人數生成評估結果。

8.根據權利要求7所述的方法，其特征在于，所述獲取教室的實時監控視頻流和對應的時間戳，還包括：

將所述實時監控視頻流和對應的時間戳轉化為預設格式。

9.根據權利要求7所述的方法，其特征在于，所述對所述實時監控視頻流進行預處理，還包括：

對所述實時監控視頻流進行解碼和轉碼，以將所述實時監控視頻流轉換為目標環境和配置下支持的格式；

利用關鍵幀截取技術，使用預設的時間間隔對所述時監控視頻流進行截取，獲得可送至深度學習模型處理的視頻幀；

對所述視頻幀進行歸一化處理。

10.根據權利要求7所述的方法，其特征在于，所述根據預處理后的實時監控視頻流輸入預先訓練的視頻幀送入模型，以檢測教室監控視頻畫面的出勤人數和/或抬頭人數，具體包括：

采用SSD算法以通過從不同尺度特征圖上預定義的默認邊界框中估計對象類別，實時檢測對象；

采用S3FD檢測算法以利用尺度不變框架進行檢測，利用尺度補償邊界框匹配策略提高小尺度目標的檢測效果。