[發明專利]一種在線課堂智能互動裝置

在審

• 申請號: 201811328537.5
• 申請日: 2018-11-09
• 公開（公告）號: CN109448470A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 杜武平;黃敦筆;詹永明
• 申請（專利權）人: 杭州賽魯班網絡科技有限公司
• 主分類號: G09B5/14
• 分類號: G09B5/14;G09B5/10;G09B5/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種在線課堂智能互動裝置，包括課堂端互動設備(1)、教師端互動設備(2)、智能處理裝置(3)、信號獲取模塊(4)、人工智能處理模塊(5)、結構化數據輸出模塊(6)、人臉識別單元(7)、舉手識別單元(8)和站立識別單元(9)，其特征在于：所述課堂端互動設備(1)通過網絡與教師端互動設備(2)相連接，采集各自的聲音、視覺傳感信號，經過編碼和復合處理形成多媒體流發送至對端播放和展現，其中；

所述智能處理裝置(3)同課堂端互動設備(1)和教師端互動設備(2)建立網絡連接，智能處理裝置(3)分別獲取課堂端互動設備(1)和教師端互動設備(2)產生的多媒體流經人工智能處理模塊(5)處理對應生成結構化數據發送至對端，對應終端設備獲取和解析結構化數據，和實時互動的多媒體內容疊加渲染和輸出；

所述智能處理裝置(3)包括信號獲取模塊(4)、人工智能處理模塊(5)和結構化數據輸出模塊(6)，所述信號獲取模塊(4)負責獲取多媒體流及解復用處理成音頻、視頻信號，所述人工智能處理模塊(5)包括人臉識別單元(7)、舉手識別單元(8)和站立識別單元(9)等，視頻信號輸入到人工智能處理模塊(5)，舉手識別單元(8)和站立識別單元(9)計算和處理產生當前課堂場景學生是否存在有舉手和站立的情況，若存在舉手和站立的學生，則把舉手和站立學生的圖像區域數據送至人臉識別單元(7)進行人臉識別處理，識別計算當前舉手和站立的學生是誰，結構化數據輸出模塊(6)最終輸出當前課堂序列視頻中是否存在舉手或者站立情況、舉手或者站立學生相對于整張圖像中的區域坐標和對應舉手或者站立學生是誰等結構化數據信息。

2.根據權利要求1所述的一種在線課堂智能互動裝置，其特征在于：所述結構化數據信息發送至教師端互動設備(2)，且教師端互動設備(2)端獲取結構化數據信息，解析對應字段和視頻圖像疊加渲染和展示。

3.根據權利要求1所述的一種在線課堂智能互動裝置，其特征在于：所述采用結構化數據和視頻流，實現當前課堂舉手或者站立等較活躍互動場面進行精彩瞬間圖片抓拍和視頻錄制。

4.根據權利要求1所述的一種在線課堂智能互動裝置，其特征在于：所述智能處理裝置(3)采用基于深度學習推理、神經網絡計算的智能硬件或者云平臺實現和加持。

5.根據權利要求1所述的一種在線課堂智能互動裝置，其特征在于：所述智能處理裝置(3)輸出地結構化數據信息是以PROTOBUF或者JSON串等序列化技術方法實現。

6.根據權利要求1所述的一種在線課堂智能互動裝置，其特征在于：所述人臉識別單元(7)包括人臉檢測、人臉特征值計算、人臉比對和學生底庫管理等模塊。