[發(fā)明專利]一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201710142279.0
• 申請日: 2017-03-10
• 公開（公告）號: CN106851216B
• 公開（公告）日: 2019-05-28
• 發(fā)明（設(shè)計）人: 王鵬;張淑潔;石潔茹;宮曉君;溫新;趙麗雯;張利會
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: H04N7/18
• 分類號: H04N7/18;G10L25/51;G06K9/00
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張勇

本發(fā)明公開了一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)及方法，包括以下步驟：通過攝像頭采集課堂中學(xué)生、教師的視頻信息；通過錄音設(shè)備采集課堂中學(xué)生、教師的語音信息；主控處理器對接收到的學(xué)生、教師的視頻信息進(jìn)行預(yù)處理，提取學(xué)生、教師的面部表情特征和行為特征；主控處理器對接收到的學(xué)生的語音信息進(jìn)行處理，提取學(xué)生語音特征；主控處理器對接收到的教師的語音數(shù)據(jù)信息進(jìn)行處理，提取教師語音特征，計算教師教學(xué)效果的分值，根據(jù)得分對教師教學(xué)做出評價并提供指導(dǎo)性建議。本發(fā)明通過對課堂中教師、學(xué)生的課堂行為觀察，提高評價的準(zhǔn)確性及客觀性，可以完善教學(xué)方法提升教學(xué)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明主要涉及一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)及方法。

背景技術(shù)

對于課堂行為監(jiān)控，是學(xué)校評價教學(xué)質(zhì)量的重要環(huán)節(jié)，充分了解教師的教課水平和學(xué)生上課的反應(yīng)，才能保證高質(zhì)量教學(xué)水平。現(xiàn)有，對于課堂行為的監(jiān)控采用學(xué)生記錄或者老師測試模擬、老師觀察監(jiān)督的方式，此種方式不能夠充分調(diào)動學(xué)生的學(xué)習(xí)興趣，不能評價老師的教學(xué)效果，無法同時實現(xiàn)對學(xué)生、教師的課堂行為的采集、分析、記錄及評價。因此，如何利用基于人臉識別技術(shù)和語音識別技術(shù)來對學(xué)生和教師的課堂行為進(jìn)行精確采樣和智能分析與評價，實現(xiàn)對教學(xué)課堂中學(xué)生和教師的表現(xiàn)行為進(jìn)行觀察和記錄，有效提高課堂教學(xué)效果，促進(jìn)學(xué)生的全面發(fā)展是值得研究和開發(fā)的課題。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)及方法，從學(xué)生行為評價和教師行為評價兩個方面進(jìn)行數(shù)據(jù)收集及分析評價，收集學(xué)生在課堂上的表現(xiàn)和教師在課堂上的表揚(yáng)和批評等反饋，并通過數(shù)據(jù)分析，評價學(xué)生的學(xué)習(xí)狀態(tài)及學(xué)習(xí)效果，同時對教師教學(xué)效果進(jìn)行評價。

本發(fā)明所采用的技術(shù)方案是：

一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)，包括

視頻信息采集系統(tǒng)，包括安裝在教室四個墻角的全方位旋轉(zhuǎn)攝像頭、與攝像頭相連的解碼器、與解碼器相連的畫面分割器，用于采集課堂中學(xué)生、教師的視頻數(shù)據(jù)信息；

語音信息采集系統(tǒng)，包括安裝在學(xué)生課桌下面以及講臺上的錄音設(shè)備，用于采集課堂中學(xué)生、教師的語音數(shù)據(jù)信息；

主控處理器，對學(xué)生、教師的視頻數(shù)據(jù)信息和語音信息進(jìn)行預(yù)處理，提取學(xué)生、教師的面部表情特征和行為特征；

分析處理器，將學(xué)生、教師的面部表情特征和行為特征于標(biāo)準(zhǔn)模板進(jìn)行比較，并計算相應(yīng)得分。

一種基于人臉和語音識別的課堂行為監(jiān)控方法，包括以下步驟：

步驟一、通過安裝在教室四個墻角的攝像頭采集課堂中學(xué)生、教師的視頻數(shù)據(jù)信息；通過安裝在學(xué)生課桌下面以及講臺上的錄音設(shè)備采集課堂中學(xué)生、教師的語音數(shù)據(jù)信息；

步驟二、采集到的學(xué)生、教師的視頻數(shù)據(jù)信息經(jīng)解碼器解碼和畫面分割器分割后，發(fā)送給主控處理器；將采集到的學(xué)生、教師的語音數(shù)據(jù)信息發(fā)送給主控處理器；

步驟三、主控處理器對接收到的學(xué)生的視頻數(shù)據(jù)信息進(jìn)行預(yù)處理，提取學(xué)生的面部表情特征和行為特征，通過分析處理器將學(xué)生面部表情特征與學(xué)生面部表情標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計算課堂中學(xué)生面部表情表現(xiàn)得分，將學(xué)生行為特征與學(xué)生行為標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計算課堂中學(xué)生行為表現(xiàn)得分；

步驟四、主控處理器對接收到的教師的視頻數(shù)據(jù)信息進(jìn)行預(yù)處理，提取教師的面部表情特征和行為特征，通過分析處理器將教師面部表情特征與及教師面部表情標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計算教師對學(xué)生課堂表現(xiàn)面部表情反應(yīng)的得分，將教師行為特征與教師行為標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計算教師對學(xué)生課堂表現(xiàn)行為反應(yīng)的得分；