[發明專利]基于多目標視頻分析的課堂抬頭檢測系統及其工作方法

在審

• 申請號: 202110301132.8
• 申請日: 2021-03-22
• 公開（公告）號: CN112861809A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 謝磊;伏子育;陸桑璐
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

本發明公開了一種基于多目標視頻分析的課堂抬頭檢測系統及其工作方法，包括：人臉檢測模塊，根據獲取的課堂視頻數據，使用卷積神經網絡模型得到每個視頻幀中的人臉集合；人臉姿態估計模塊，對上述人臉集合中的每一個人臉進行特征點檢測，基于特征點進行姿態估計，得到其在空間中的姿態角，并根據俯仰角的大小作為學生是否聽課的判斷依據，統計課堂聽課率；云邊協同調度模塊，根據系統當前的資源狀態以及用戶需求，對上述卷積神經網絡模型及集成回歸樹模型的最優配置進行求解，以提高人臉檢測和人臉姿態估計的精度。本發明解決了現有技術不能高精度、低時延地同時對多目標進行分析、以及無法充分利用邊緣設備和云服務器計算資源的問題。

技術領域

本發明屬于多目標視頻分析和邊緣計算領域，具體指代一種基于多目標視頻分析的課堂抬頭檢測系統及其工作方法。

背景技術

課堂教學評估是一種有效激勵教師有目的性、針對性地不斷改進并提高自己教學方式的手段，簡要來說，開展課堂教學評價具有以下幾點重要作用：

1)課堂教學評價具有導向功能，能夠促進課堂教學改革；

2)課堂教學評價具有激勵功能，可以加強教師之間的互相交流；

3)課堂教學評價是促進教師專業發展的重要途徑；

4)課堂教學評價具有決策和鑒定功能，是學校管理工作的重要組成部分。

傳統的課堂教學評價方式可以分為：1)現場觀察評價：評價者進入課堂，實時實地聽教師講課并及時進行評價；2)監視監聽評價：評價者不直接進入課堂，可以很大程度上避免給師生帶來壓力，使得獲取的信息更加真實；3)量表評價：采用事先編制好的評價量表，由教師和學生根據他們對教學過程和效果的感受進行回答。以上幾種評價方式都存在一定的缺點，首先它們都需要大量的人力與時間成本，其次都存在很大程度上的主觀性。

如今，一些基于深度學習的方法開始被用于進行課堂教學評估，這類方法通常通過部署在教室中的監控攝像頭獲取視頻數據，之后通過表情識別、動作識別等方式對學生的聽課狀態進行分析，判斷學生的聽課狀態。這類方法可以比較準確地對單個學生的行為進行分析，然而，其缺點在于需要通過部署多個攝像頭，才能夠實現同時對多個目標的分析。另外，此類方法在實際部署時通常采用靜態配置方法，無法根據當前資源狀態以及用戶需求進行自適應調整，導致邊緣設備和云服務器的計算資源無法得到充分利用，從而無法實現精度和時延等關鍵指標的最優化。

因此，基于上述考慮，有必要提出一種基于多目標視頻分析的課堂抬頭檢測系統，不僅可以節省大量的人力與時間成本，同時能夠通過自適應的云邊協同調度，充分利用邊緣設備和云端的計算資源，滿足高精度低時延的實時抬頭檢測需求。

發明內容

針對于上述現有技術的不足，本發明的目的在于提供一種基于多目標視頻分析的課堂抬頭檢測系統及其工作方法，以解決現有技術不能高精度、低時延地同時對多目標進行分析、以及無法充分利用邊緣設備和云服務器計算資源的問題。

為達到上述目的，本發明采用的技術方案如下：

本發明的一種基于多目標視頻分析的課堂抬頭檢測系統，包括：人臉檢測模塊、人臉姿態估計模塊及云邊協同調度模塊；

人臉檢測模塊，根據獲取的課堂視頻數據，使用卷積神經網絡模型得到每個視頻幀中的人臉集合；

人臉姿態估計模塊，對上述人臉集合中的每一個人臉，使用集成回歸樹模型進行特征點檢測，基于特征點進行姿態估計，得到其在空間中的姿態角，并根據俯仰角的大小作為學生是否聽課的判斷依據，統計課堂聽課率；

云邊協同調度模塊，根據系統當前的資源狀態以及用戶需求，對上述卷積神經網絡模型及集成回歸樹模型的最優配置進行求解，以提高人臉檢測和人臉姿態估計的精度。

進一步地，所述系統當前的資源狀態包括：當前可用的內存、處理器、以及帶寬。