[發明專利]基于多任務級聯卷積神經網絡的授課輔助系統

在審

• 申請號: 201910377955.1
• 申請日: 2019-05-08
• 公開（公告）號: CN110175534A
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 朱金龍;于繁華;劉光潔;孫明玉;趙東;李清亮;趙秀濤;張崳
• 申請（專利權）人: 長春師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明方法是在高校課堂上基于多任務級聯卷積神經網絡的授課輔助系統，采用卷積神經網絡訓練人臉樣本生成人臉識別模型，利用訓練的結果識別人臉關鍵點和面部朝向，關鍵點包括：人眼、鼻子、嘴、臉的輪廓。根據關鍵點的位置分析學生聽課行為，根據分析面部朝向、是否閉眼、表情和眼睛相對面部的運動軌跡，分析學生聽課行為，聽課行為包括：睡覺、溜號、不聽課、疑惑、理解，收集聽課行為并及時給出提示，通過收集的聽課行為評估學生學習狀態，輔助教師掌握學生聽課情況。

技術領域

本發明方法是基于多任務級聯卷積神經網絡的授課輔助系統；本方法可廣泛應用于機房授課場景下教師授課輔助教學的問題，基于任務級聯卷積神經網絡訓練人臉樣本數據，實現人臉關鍵點、人臉朝向和人臉輪廓的識別功能；通過識別結果分析聽課行為，并在教師PC機和客戶端PC機給予提示和建議，幫助教師及時掌握學生課堂表現。

背景技術

深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示；深度學習在人臉識別領域的應用提高了人臉識別準確率；卷積神經網絡是一種多層神經網絡，擅長處理圖像特別是大圖像的相關深度學習問題，最典型的卷積網絡，由卷積層、池化層、全連接層組成，其中卷積層與池化層配合，組成多個卷積組，逐層提取特征，通過若干個全連接層完成分類；通過深度學習方法可以直接將人臉圖像映射到歐幾里得空間，空間的距離代表了人臉圖像的相似性；通過生成的映射空間與待檢測人臉進行比較，完成人臉識別，驗證和聚類任務?；谏疃葘W習的人臉識別方法相比較其他方法具有精度更高、速度更快的特點。

發明內容

本發明的目的是為課堂教師及時掌握學生聽課狀態，并根據聽課狀態及時采取措施，提高授課效果；基于多任務級聯卷積神經網絡的授課輔助系統，采用卷積神經網絡訓練人臉樣本，利用訓練的結果識別人臉關鍵點和面部朝向，關鍵點包括：人眼、鼻子、嘴、臉的輪廓。根據關鍵點的位置分析學生聽課行為，收集聽課行為并及時給出提示，通過收集的聽課行為評估學生學習狀態，輔助教師掌握學生聽課情況；

所需設備：采用1個服務器PC機，1個教師PC機，客戶端PC機套裝，一個學生配置一個客戶端PC機套裝，一個客戶端PC機套裝包括：1個羅技（Logitech）C922 高清網絡攝像頭，分辨率1080P/30fps，工作視角為78度；一個PC機，以及用于連接客戶端PC和攝像頭的線路；

方法步驟如下：

（010）部分，多任務級聯卷積神經網絡訓練樣本具體步驟如下：

步驟C011：收集學生人臉照片，每人5張不同圖片，并且下載LFW人臉數據庫，組建樣本圖片；

步驟C012：預處理樣本圖片，檢測每張圖片中人臉的矩形框，并對齊人臉，轉換對齊后的人臉圖片為大小160*160的圖像；

步驟C013：采用多任務級聯卷積神經網絡訓練樣本，生成模型文件；

（020）部分，識別人臉關鍵點、面部朝向具體步驟如下：

步驟C021：采用步驟C013生成的模型文件，識別攝像頭獲取的視頻中人臉關鍵點；

步驟C022：根據人臉關鍵點位置坐標分析面部朝向、是否閉眼、表情；

（030）部分，分析聽課行為具體步驟如下：

步驟C031：根據分析面部朝向、是否閉眼、表情和眼睛相對面部的運動軌跡，分析學生聽課行為，聽課行為包括：睡覺、溜號、不聽課、疑惑、理解；