[發明專利]一種基于計算機視覺的課堂行為檢測系統

在審

• 申請號: 201811064325.0
• 申請日: 2018-09-12
• 公開（公告）號: CN109241917A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 龔強
• 申請（專利權）人: 南京交通職業技術學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 南京業騰知識產權代理事務所(特殊普通合伙) 32321
• 代理人: 董存壁

1.一種基于計算機視覺的課堂行為檢測系統，包括智能處理模塊(1)、數據采集模塊(2)和存儲模塊(3)，其特征在于：所述智能處理模塊(1)分別與數據采集模塊(2)、存儲模塊(3)相連接；

所述智能處理模塊(1)包括數據處理模塊(4)、人體姿態估計模塊(5)、座位檢測模塊(6)和人臉識別模塊(7)，所述數據處理模塊(4)分別與人體姿態估計模塊(5)、座位檢測模塊(6)和人臉識別模塊(7)相連接，所述人體姿態估計模塊(5)包括軀體姿態估計模塊(8)、頭部姿態估計模塊(9)和手部姿態估計模塊(10)，所述軀體姿態估計模塊(8)、頭部姿態估計模塊(9)和手部姿態估計模塊(10)彼此串聯固定連接；

所述數據采集模塊(2)包括視頻采集模塊(11)和無線傳輸模塊(12)，所述視頻采集模塊(11)與攝像頭(13)相連接，所述無線傳輸模塊(12)與物聯網無線連接；

所述存儲模塊(3)包括視頻存儲模塊(14)、人臉信息存儲模塊(15)、座位信息存儲模塊(16)和學生信息存儲模塊(17)，所述視頻存儲模塊(14)直接與視頻采集模塊(11)相連接，所述人臉信息存儲模塊(15)與人臉識別模塊(7)相連接，所述座位信息存儲模塊(16)與座位檢測模塊(6)相連接。

2.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述數據處理模塊(4)，用于將教室視頻信息轉化為圖像序列，并對圖像序列中的圖像進行拼接和矯正得到教室的全景圖片，然后對人體姿態估計模塊(5)、座位檢測模塊(6)和人臉識別模塊(7)的檢測數據進行處理和分析。

3.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述人體姿態估計模塊(5)，用于對學生聽課時的身體姿態進行檢測，檢測的部位主要包括頭部、左手、右手和頸部。

4.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述座位檢測模塊(6)，用于根據人體姿態估計子模塊得到的頸部位置信息和教室中所有座位的位置進行匹配，得到學生座位信息，并將學生座位信息儲存到座位信息存儲模塊(16)內。

5.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述人臉識別模塊(7)，用于對學生的面部信息進行檢測和錄入，并將學生的面部信息儲存到人臉信息存儲模塊(15)內，用于配合座位檢測模塊(6)對座位和學生一一對應。

6.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述頭部姿態估計模塊(9)，用于根據人臉識別模塊(7)得到的人臉框位置信息相對于攝像頭(13)的偏轉角判定學生頭部狀態，包括左右偏頭，低頭，抬頭和正常狀態，根據學生的動作判斷學生在課堂中的行為，并將學生的行為存入學生信息存儲模塊(17)。

7.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述手部姿態估計模塊(10)，用于檢測學生上課時手部的擺放姿態和動作，確定學生是否積極舉手回答問題。

8.根據權利要求1所述的一種基于計算機視覺的課堂行為檢測系統，其特征在于：所述學生信息存儲模塊(17)內主要包括學生姓名、年級、學生所在班級名稱、學生家長的姓名、聯系方式、家庭住址以及課堂行為打分。