[發明專利]一種基于人臉情緒識別的智能輔助教學方法及系統

在審

• 申請號: 201910306758.0
• 申請日: 2019-04-16
• 公開（公告）號: CN110059614A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 馬鴿;許翔;趙志甲;劉貴云;李致富
• 申請（專利權）人: 廣州大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06Q50/20
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 顏希文;麥小嬋

1.一種基于人臉情緒識別的智能輔助教學方法，其特征在于，包括如下步驟：

對攝像設備實時采集的學生的人臉圖像進行預處理，得到人臉數據；

通過三維人臉定位建模技術對所述人臉數據進行人臉情緒識別以及學生身份識別，得到該學生的人臉情緒信息和身份信息；

將所述人臉情緒信息輸入到學生狀態評估模塊進行狀態評估，并發送狀態評估信息至交互顯示器。

2.根據權利要求1所述的基于人臉情緒識別的智能輔助教學方法，其特征在于，還包括：

根據學生的身份信息進行自動考勤打卡，統計實時出勤人數，記錄缺勤、遲到或早退學生信息并發送至交互顯示器；

統計學生的狀態評估信息并存儲至信息網絡管理模塊。

3.根據權利要求1所述的基于人臉情緒識別的智能輔助教學方法，其特征在于，所述通過三維人臉定位建模技術對所述人臉數據進行人臉情緒識別，具體為：

利用帶有3D結構光的攝像設備對人臉進行跟蹤拍攝，得到人臉數據；

對所述人臉數據進行人臉區域分割，得到擁有深度的光線圖像；

通過三維人臉定位建模技術對所述光線圖像進行捕捉臉部肌肉運動節點，并標記臉部特征點，得到臉部特征信息；

根據所述臉部特征信息與數據庫中預先錄入的臉部特征信息進行對比，在判斷達到限定的相似度時，輸出對應的人臉情緒信息以及身份信息。

4.根據權利要求1所述的基于人臉情緒識別的智能輔助教學方法，其特征在于，所述狀態評估包括心理狀態評估、傷害評估、課堂專注度評估以及知識掌握度評估。

5.根據權利要求1所述的基于人臉情緒識別的智能輔助教學方法，其特征在于，還包括通過交互顯示器發出信息提醒上課狀態異常的學生。

6.根據權利要求1所述的基于人臉情緒識別的智能輔助教學方法，其特征在于，還包括通過APP實時接收學生評估狀態信息。

7.一種基于人臉情緒識別的智能輔助教學系統，其特征在于，包括：

采集模塊，用于對攝像設備實時采集的學生的人臉圖像進行預處理，得到人臉數據；

識別模塊，用于通過三維人臉定位建模技術對所述人臉數據進行人臉情緒識別以及學生身份識別，得到該學生的人臉情緒信息和身份信息；

狀態評估模塊，用于對所述人臉情緒信息進行狀態評估，并發送狀態評估信息至交互顯示器。

8.根據權利要求7所述的基于人臉情緒識別的智能輔助教學系統，其特征在于，還包括：

考勤模塊，用于根據學生的身份信息進行自動考勤打卡，統計實時出勤人數，記錄缺勤、遲到或早退學生信息并發送至交互顯示器；

信息網絡管理模塊，用于統計并存儲學生的狀態評估信息。

9.根據權利要求7所述的基于人臉情緒識別的智能輔助教學系統，其特征在于，所述識別模塊包括人臉跟蹤單元、人臉分割單元、人臉特征點提取單元和數據匹配單元；其中，

人臉跟蹤單元，用于利用帶有3D結構光的攝像設備對人臉進行跟蹤拍攝，得到人臉數據；

人臉分割單元，用于對所述人臉數據進行人臉區域分割，得到擁有深度的光線圖像；

人臉特征點提取單元，用于通過三維人臉定位建模技術對所述光線圖像進行捕捉臉部肌肉運動節點，并標記臉部特征點，得到臉部特征信息；

數據匹配單元，用于根據所述臉部特征信息與數據庫中預先錄入的臉部特征信息進行對比，在判斷達到限定的相似度時，輸出對應的人臉情緒信息以及身份信息。

10.根據權利要求7所述的基于人臉情緒識別的智能輔助教學系統，其特征在于，所述狀態評估模塊包括心理狀態評估單元、傷害評估單元、課堂專注度評估單元以及知識掌握度評估單元。