[發(fā)明專利]一種在線課堂智能互動(dòng)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201811328537.5
• 申請(qǐng)日: 2018-11-09
• 公開（公告）號(hào): CN109448470A
• 公開（公告）日: 2019-03-08
• 發(fā)明（設(shè)計(jì)）人: 杜武平;黃敦筆;詹永明
• 申請(qǐng)（專利權(quán)）人: 杭州賽魯班網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G09B5/14
• 分類號(hào): G09B5/14;G09B5/10;G09B5/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種在線課堂智能互動(dòng)裝置，包括課堂端互動(dòng)設(shè)備、教師端互動(dòng)設(shè)備、智能處理裝置、信號(hào)獲取模塊、人工智能處理模塊、結(jié)構(gòu)化數(shù)據(jù)輸出模塊、人臉識(shí)別單元、舉手識(shí)別單元和站立識(shí)別單元，所述課堂端互動(dòng)設(shè)備通過網(wǎng)絡(luò)與教師端互動(dòng)設(shè)備相連接，采集各自的聲音、視覺傳感信號(hào)，經(jīng)過編碼和復(fù)合處理形成多媒體流發(fā)送至對(duì)端播放和展現(xiàn)，所述智能處理裝置同課堂端互動(dòng)設(shè)備和教師端互動(dòng)設(shè)備建立網(wǎng)絡(luò)連接。該在線課堂智能互動(dòng)裝置設(shè)置有在遠(yuǎn)程教學(xué)在線課堂中老師和學(xué)生彼此陌生或者老師無法記清楚學(xué)生姓名的情況下老師可知曉舉手學(xué)生或者站立學(xué)生的姓名，從而可和他進(jìn)行更一步的實(shí)時(shí)互動(dòng)，拉近彼此，讓異地不再是距離。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)通信相關(guān)設(shè)備技術(shù)領(lǐng)域，具體為一種在線課堂智能互動(dòng)裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，遠(yuǎn)程教育教學(xué)越來越普遍。直播互動(dòng)教學(xué)是遠(yuǎn)程教育現(xiàn)有技術(shù)的典型代表，老師端依據(jù)視覺傳感器把教學(xué)內(nèi)容傳給遠(yuǎn)端的課堂，課堂端依據(jù)視覺傳感器把課堂畫面?zhèn)鹘o老師，以此系統(tǒng)實(shí)現(xiàn)異地教學(xué)。對(duì)于類似興趣班、培訓(xùn)班或者外教課的遠(yuǎn)程教學(xué)來說，由于報(bào)名參加的學(xué)生生源及老師資源是動(dòng)態(tài)變化的，老師和學(xué)生相互之間的彼此不熟悉和不了解，另外，班級(jí)課堂中學(xué)生人數(shù)眾多，老師很難一一叫出學(xué)生名字，這樣導(dǎo)致了老師和學(xué)生之間互動(dòng)的親近感不強(qiáng)和互動(dòng)效果不理想，因此市面上迫切需要能改進(jìn)在線課堂智能互動(dòng)裝置結(jié)構(gòu)的技術(shù)，來完善此設(shè)備。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種在線課堂智能互動(dòng)裝置，以解決上述背景技術(shù)提出的目前市場(chǎng)上的現(xiàn)有技術(shù)遠(yuǎn)程教學(xué)在線課堂老師和學(xué)生之間異地互動(dòng)效果不理想、親近感不強(qiáng)等一些痛點(diǎn)的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種在線課堂智能互動(dòng)裝置，包括課堂端互動(dòng)設(shè)備、教師端互動(dòng)設(shè)備、智能處理裝置、信號(hào)獲取模塊、人工智能處理模塊、結(jié)構(gòu)化數(shù)據(jù)輸出模塊、人臉識(shí)別單元、舉手識(shí)別單元和站立識(shí)別單元，所述課堂端互動(dòng)設(shè)備通過網(wǎng)絡(luò)與教師端互動(dòng)設(shè)備相連接，采集各自的聲音、視覺傳感信號(hào)，經(jīng)過編碼和復(fù)合處理形成多媒體流發(fā)送至對(duì)端播放和展現(xiàn)，其中；

所述智能處理裝置同課堂端互動(dòng)設(shè)備和教師端互動(dòng)設(shè)備建立網(wǎng)絡(luò)連接，智能處理裝置分別獲取課堂端互動(dòng)設(shè)備和教師端互動(dòng)設(shè)備產(chǎn)生的多媒體流經(jīng)人工智能處理模塊處理對(duì)應(yīng)生成結(jié)構(gòu)化數(shù)據(jù)發(fā)送至對(duì)端，對(duì)應(yīng)終端設(shè)備獲取和解析結(jié)構(gòu)化數(shù)據(jù)，和實(shí)時(shí)互動(dòng)的多媒體內(nèi)容疊加渲染和輸出；

所述智能處理裝置包括信號(hào)獲取模塊、人工智能處理模塊和結(jié)構(gòu)化數(shù)據(jù)輸出模塊，所述信號(hào)獲取模塊負(fù)責(zé)獲取多媒體流及解復(fù)用處理成音頻、視頻信號(hào)，所述人工智能處理模塊包括人臉識(shí)別單元、舉手識(shí)別單元和站立識(shí)別單元等，視頻信號(hào)輸入到人工智能處理模塊，舉手識(shí)別單元和站立識(shí)別單元計(jì)算和處理產(chǎn)生當(dāng)前課堂場(chǎng)景學(xué)生是否存在有舉手和站立的情況，若存在舉手和站立的學(xué)生，則把舉手和站立學(xué)生的圖像區(qū)域數(shù)據(jù)送至人臉識(shí)別單元進(jìn)行人臉識(shí)別處理，識(shí)別計(jì)算當(dāng)前舉手和站立的學(xué)生是誰，結(jié)構(gòu)化數(shù)據(jù)輸出模塊最終輸出當(dāng)前課堂序列視頻中是否存在舉手或者站立情況、舉手或者站立學(xué)生相對(duì)于整張圖像中的區(qū)域坐標(biāo)和對(duì)應(yīng)舉手或者站立學(xué)生是誰等結(jié)構(gòu)化數(shù)據(jù)信息。

優(yōu)選的，所述結(jié)構(gòu)化數(shù)據(jù)信息發(fā)送至教師端互動(dòng)設(shè)備，且教師端互動(dòng)設(shè)備端獲取結(jié)構(gòu)化數(shù)據(jù)信息，解析對(duì)應(yīng)字段和視頻圖像疊加渲染和展示。

優(yōu)選的，所述采用結(jié)構(gòu)化數(shù)據(jù)和視頻流，實(shí)現(xiàn)當(dāng)前課堂舉手或者站立等較活躍互動(dòng)場(chǎng)面進(jìn)行精彩瞬間圖片抓拍和視頻錄制。

優(yōu)選的，所述智能處理裝置采用基于深度學(xué)習(xí)推理、神經(jīng)網(wǎng)絡(luò)計(jì)算的智能硬件或者云平臺(tái)實(shí)現(xiàn)和加持。

優(yōu)選的，所述智能處理裝置輸出地結(jié)構(gòu)化數(shù)據(jù)信息是以PROTOBUF或者JSON串等序列化技術(shù)方法實(shí)現(xiàn)。

優(yōu)選的，所述人臉識(shí)別單元包括人臉檢測(cè)、人臉特征值計(jì)算、人臉比對(duì)和學(xué)生底庫管理等模塊。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：該在線課堂智能互動(dòng)裝置：