[發明專利]基于多任務級聯卷積神經網絡的授課輔助系統

在審

• 申請號: 201910377955.1
• 申請日: 2019-05-08
• 公開（公告）號: CN110175534A
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 朱金龍;于繁華;劉光潔;孫明玉;趙東;李清亮;趙秀濤;張崳
• 申請（專利權）人: 長春師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于多任務級聯卷積神經網絡的授課輔助系統，采用卷積神經網絡訓練人臉樣本，利用訓練的結果識別人臉關鍵點和面部朝向，關鍵點包括：人眼、鼻子、嘴、臉的輪廓；根據關鍵點的位置分析學生聽課行為，收集聽課行為并及時給出提示，通過收集的聽課行為評估學生學習狀態，輔助教師掌握學生聽課情況；

所需設備：采用1個服務器PC機，1臺深度學習服務器，1個教師PC機，客戶端PC機套裝，一個學生配置一個客戶端PC機套裝，一個客戶端PC機套裝包括：1個羅技（Logitech）C922高清網絡攝像頭，分辨率1080P/30fps，工作視角為78度；一個PC機，以及用于連接客戶端PC和攝像頭的線路；

方法步驟如下：

（010）部分，多任務級聯卷積神經網絡訓練樣本具體步驟如下：

步驟C011：收集學生人臉照片，每人5張不同圖片，并且下載LFW人臉數據庫，組建樣本圖片，使用深度學習服務器訓練數據；

步驟C012：預處理樣本圖片，檢測每張圖片中人臉的矩形框，提取人臉矩形框并對齊人臉，轉換對齊后的人臉圖片為大小160*160的圖像，由大小為160*160的人臉圖像構成訓練樣本；

步驟C013：采用多任務級聯卷積神經網絡訓練樣本，多任務級聯卷積神經網絡由三個子網絡構成，分別是Proposal Network(P-Net)、Refine Network(R-Net)、Output Network(O-Net) 這三個網絡對人臉的處理依次從粗到細；P-Net對樣本進行處理生成人臉候選框，并且給出人臉框的回歸和人臉關鍵點定位；由于P-Net的檢測時比較粗略，接下來使用R-Net進一步優化；R-Net和P-Net類似，不過這一步的輸入是前面P-Net生成的邊界框，輸出是去除大量的非人臉框；O-Net與R-Net執行同樣的操作，在輸出的時候精簡人臉框并帶有人臉關鍵點；在通過損失函數訓練參數得到人臉關鍵點識別模型文件；

（020）部分，識別人臉關鍵點、面部朝向具體步驟如下：

步驟C021：采用步驟C013生成的模型文件，識別攝像頭獲取的視頻中人臉關鍵點；

步驟C022：根據人臉關鍵點位置坐標分析面部朝向、是否閉眼、表情，表情包括皺眉、笑、說話、點頭；

（030）部分，分析聽課行為具體步驟如下：

步驟C031：根據分析面部朝向、是否閉眼、表情和眼睛相對面部的運動軌跡，分析學生聽課行為，聽課行為包括：睡覺、溜號、不聽課、疑惑、理解；

步驟C032：根據分析得到的聽課行為，記錄行為發生時課程的時間點和內容，并上傳服務器；對于睡覺、溜號、不聽課行為同時在教師PC機和檢測到該行為客戶端PC機給予提示；對于疑惑、理解行為在教師PC機給予提示；教師PC機提示信息主要包括：行為的學生數量、學生位置、建議采用措施；教師根據教師PC機顯示信息，采用措施提高授課效果；客戶端PC機提示信息主要包括：睡覺、溜號、不聽課提示；

（040）部分，分析課程授課效果具體步驟如下：

步驟C041：根據分析學生的聽課行為和教師采用的措施的過程分析課程授課效果。