[發(fā)明專利]一種基于計算機視覺的課堂行為檢測系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811064325.0
• 申請日: 2018-09-12
• 公開（公告）號: CN109241917A
• 公開（公告）日: 2019-01-18
• 發(fā)明（設(shè)計）人: 龔強
• 申請（專利權(quán)）人: 南京交通職業(yè)技術(shù)學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 南京業(yè)騰知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32321
• 代理人: 董存壁

本發(fā)明公開了一種基于計算機視覺的課堂行為檢測系統(tǒng)，包括智能處理模塊、數(shù)據(jù)采集模塊和存儲模塊，智能處理模塊分別與數(shù)據(jù)采集模塊、存儲模塊相連接；智能處理模塊包括數(shù)據(jù)處理模塊、人體姿態(tài)估計模塊、座位檢測模塊和人臉識別模塊，數(shù)據(jù)處理模塊分別與人體姿態(tài)估計模塊、座位檢測模塊和人臉識別模塊相連接，人體姿態(tài)估計模塊包括軀體姿態(tài)估計模塊、頭部姿態(tài)估計模塊和手部姿態(tài)估計模塊，軀體姿態(tài)估計模塊、頭部姿態(tài)估計模塊和手部姿態(tài)估計模塊彼此串聯(lián)固定連接；數(shù)據(jù)采集模塊包括視頻采集模塊和無線傳輸模塊，視頻采集模塊與攝像頭相連接。本發(fā)明通過對每個學(xué)生在課堂上的學(xué)習(xí)行為進行分析提高學(xué)生的學(xué)習(xí)積極性，有助于提高學(xué)生的學(xué)習(xí)成績。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字圖像處理技術(shù)領(lǐng)域，具體為一種基于計算機視覺的課堂行為檢測系統(tǒng)。

背景技術(shù)

近些年來，隨著機器學(xué)習(xí)，尤其是深度學(xué)習(xí)的突破性發(fā)展，結(jié)合大數(shù)據(jù)時代的優(yōu)勢，數(shù)字圖像信號處理的技術(shù)也有了質(zhì)的飛躍，在人臉檢測，人臉識別，頭部姿態(tài)估計，以及身體姿態(tài)檢測等各種技術(shù)都慢慢的成熟了起來，甚至達到了超越人類本身的水平。

目前，學(xué)校對學(xué)生進行系統(tǒng)化管理，從而提高學(xué)生的學(xué)習(xí)效率，但是在教師授課的課堂上，學(xué)生的聽課狀態(tài)對學(xué)習(xí)效率起到至關(guān)重要的作用，而教師在授課的過程中不能夠?qū)γ總€學(xué)生的聽課狀態(tài)進行監(jiān)督，也不能及時發(fā)現(xiàn)，導(dǎo)致學(xué)生聽課的效率降低。為此，需要設(shè)計一種新的技術(shù)方案給予解決。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于計算機視覺的課堂行為檢測系統(tǒng)，通過對每個學(xué)生在課堂上的學(xué)習(xí)行為進行分析提高學(xué)生的學(xué)習(xí)積極性和學(xué)習(xí)效率，有助于提高學(xué)生的學(xué)習(xí)成績。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于計算機視覺的課堂行為檢測系統(tǒng)，包括智能處理模塊、數(shù)據(jù)采集模塊和存儲模塊，所述智能處理模塊分別與數(shù)據(jù)采集模塊、存儲模塊相連接；所述智能處理模塊包括數(shù)據(jù)處理模塊、人體姿態(tài)估計模塊、座位檢測模塊和人臉識別模塊，所述數(shù)據(jù)預(yù)處理模塊分別與人體姿態(tài)估計模塊、座位檢測模塊和人臉識別模塊相連接，所述人體姿態(tài)估計模塊包括軀體姿態(tài)估計模塊、頭部姿態(tài)估計模塊和手部姿態(tài)估計模塊，所述軀體姿態(tài)估計模塊、頭部姿態(tài)估計模塊和手部姿態(tài)估計模塊彼此串聯(lián)固定連接；所述數(shù)據(jù)采集模塊包括視頻采集模塊和無線傳輸模塊，所述視頻采集模塊與攝像頭相連接，所述無線傳輸模塊與物聯(lián)網(wǎng)無線連接；所述存儲模塊包括視頻存儲模塊、人臉信息存儲模塊、座位信息存儲模塊和學(xué)生信息存儲模塊，所述視頻存儲模塊直接與視頻采集模塊相連接，所述人臉信息存儲模塊與人臉識別模塊相連接，所述座位信息存儲模塊與座位檢測模塊相連接。

作為上述技術(shù)方案的改進，所述數(shù)據(jù)處理模塊，用于將教室視頻信息轉(zhuǎn)化為圖像序列，并對圖像序列中的圖像進行拼接和矯正得到教室的全景圖片，然后對人體姿態(tài)估計模塊、座位檢測模塊和人臉識別模塊的檢測數(shù)據(jù)進行處理和分析。

作為上述技術(shù)方案的改進，所述人體姿態(tài)估計模塊，用于對學(xué)生聽課時的身體姿態(tài)進行檢測，檢測的部位主要包括頭部、左手、右手和頸部。

作為上述技術(shù)方案的改進，所述座位檢測模塊，用于根據(jù)人體姿態(tài)估計子模塊得到的頸部位置信息和教室中所有座位的位置進行匹配，得到學(xué)生座位信息，并將學(xué)生座位信息儲存到座位信息存儲模塊內(nèi)。

作為上述技術(shù)方案的改進，所述人臉識別模塊，用于對學(xué)生的面部信息進行檢測和錄入，并將學(xué)生的面部信息儲存到人臉信息存儲模塊內(nèi)，用于配合座位檢測模塊對座位和學(xué)生一一對應(yīng)。

作為上述技術(shù)方案的改進，所述頭部姿態(tài)估計模塊，用于根據(jù)人臉識別模塊得到的人臉框位置信息相對于攝像頭的偏轉(zhuǎn)角判定學(xué)生頭部狀態(tài)，包括左右偏頭，低頭，抬頭和正常狀態(tài)，根據(jù)學(xué)生的動作判斷學(xué)生在課堂中的行為，并將學(xué)生的行為存入學(xué)生信息存儲模塊。

作為上述技術(shù)方案的改進，所述手部姿態(tài)估計模塊，用于檢測學(xué)生上課時手部的擺放姿態(tài)和動作，確定學(xué)生是否積極舉手回答問題。