[發明專利]基于人臉識別的課堂專注狀態檢測方法及相關儀器

有效

• 申請號: 202110568052.9
• 申請日: 2021-05-24
• 公開（公告）號: CN113239841B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 韋寧燕;韋洪浪;吳明林;李高宇;陳賽艷;陳明
• 申請（專利權）人: 桂林理工大學博文管理學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/18;G06V40/19;G06V10/82;G06N3/0464;G06N3/045;G06N3/08;A61N1/36;G06Q50/20
• 代理公司: 深圳市嘉勤知識產權代理有限公司 44651
• 代理人: 湯金燕

1.一種基于人臉識別的課堂專注狀態檢測方法，其特征在于，包括：

S100，對課堂中各個學生進行初始專注度篩選，得到初始專注度不符合要求的選定學生，將所述選定學生的人臉照片確定為目標人臉圖像；

S200，將所述目標人臉圖像輸入預先訓練的眼眶檢測模型，獲取所述眼眶檢測模型輸出的眼眶邊長；其中，所述眼眶檢測模型用于檢測所輸出人臉圖像的眼眶描述信息；所述眼眶描述信息包括眼部最小外接矩形的邊長和代表點的坐標；

S300，獲取所述眼眶邊長中的最小邊長以及該課堂對應的困倦檢測閾值，將所述最小邊長小于所述困倦檢測閾值的學生狀態確定為困倦狀態；其中，所述困倦檢測閾值為相應年齡段學生犯困或者瞌睡時，上下眼皮間的最大間距值；

所述課堂專注狀態檢測方法還包括：將困倦狀態這一檢測結果發送至老師的教學終端，使老師針對相應學生的該狀態進行應對，以保證學習效率，和/或，將該檢測結果發送至智能終端，以使該智能終端及時收到這一狀態檢測信息，進行相應提醒或者控制，以進行多方面干預，提升相應學生的學習效率。

2.根據權利要求1所述的基于人臉識別的課堂專注狀態檢測方法，其特征在于，所述困倦檢測閾值的確定過程包括：

獲取所述課堂中學生的平均年齡，在預設的年齡-困倦檢測閾值關系中查找所述平均年齡對應的困倦檢測閾值，得到困倦檢測閾值；其中，所述年齡-困倦檢測閾值關系記錄各個年齡對應的困倦檢測閾值。

3.根據權利要求1所述的基于人臉識別的課堂專注狀態檢測方法，其特征在于，所述眼眶檢測模型的訓練過程包括：

S210，分別采集各個年齡段學生的多個人臉照片，得到第一樣本圖像，標注各個第一樣本圖像中眼部邊界框的代表點位置和各邊邊長，得到各個第一樣本圖像的圖像描述信息；

S220，以所述各個第一樣本圖像為輸入，各個圖像描述信息為輸出訓練目標檢測網絡，在所述目標檢測網絡滿足第一訓練條件時，根據所述目標檢測網絡當前的網絡參數確定所述眼眶檢測模型。

4.根據權利要求3所述的基于人臉識別的課堂專注狀態檢測方法，其特征在于，在所述目標檢測網絡滿足第一訓練條件時，根據所述目標檢測網絡當前的網絡參數確定所述眼眶檢測模型之前，還包括：

獲取所述目標檢測網絡在訓練過程中的損失函數，在所述損失函數收斂或者所述損失函數的取值小于損失閾值時，判定所述目標檢測網絡滿足第一訓練條件。

5.根據權利要求1所述的基于人臉識別的課堂專注狀態檢測方法，其特征在于，所述將所述目標人臉圖像輸入預先訓練的眼眶檢測模型，獲取所述眼眶檢測模型輸出的眼眶邊長包括：

獲取各個選定學生當前的多個目標人臉圖像，將各個目標人臉圖像分別輸入所述眼眶檢測模型，獲取所述眼眶檢測模型針對各個選定學生的各個目標人臉圖像輸出的初始眼眶邊長，根據各個初始眼眶邊長的平均值確定各個選定學生的眼眶邊長。

6.根據權利要求1所述的基于人臉識別的課堂專注狀態檢測方法，其特征在于，所述對課堂中各個學生進行初始專注度篩選，得到初始專注度不符合要求的選定學生包括：

獲取課堂中各個學生的姿態照片和人臉照片，將各個姿態照片輸入預先訓練的姿態檢測模型，獲取所述姿態檢測模型輸出的姿態檢測值，將各個姿態照片輸入預先訓練的表情檢測模型，獲取所述表情檢測模型輸出的表情檢測值，根據所述姿態檢測值和所述表情檢測值確定初始專注度不符合要求的選定學生。