[發(fā)明專利]一種基于多維數(shù)據(jù)的學(xué)生行為特征智能分析方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010106436.4
• 申請(qǐng)日: 2020-02-21
• 公開（公告）號(hào): CN111325153B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)剛;周亞敏;周萌萌;商勝楠;周粉粉
• 申請(qǐng)（專利權(quán)）人: 青島聯(lián)合創(chuàng)智科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/774;G06F16/71;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 青島高曉專利事務(wù)所(普通合伙) 37104
• 代理人: 于正河

1.一種基于多維數(shù)據(jù)的學(xué)生行為特征智能分析方法，其特征在于：其具體工藝步驟如下：

S1、視頻結(jié)構(gòu)化處理

以連續(xù)16幀作為一個(gè)處理單元、每個(gè)處理單元中的視頻幀默認(rèn)為3通道、構(gòu)建一種高低頻3D殘差神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視頻結(jié)構(gòu)化處理，將文本信息和視頻快照數(shù)據(jù)存入相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)庫中，高低頻3D殘差神經(jīng)網(wǎng)絡(luò)模型包括低頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)和高頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)，其中低頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行人員結(jié)構(gòu)化處理提取目標(biāo)特征，高頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行行為結(jié)構(gòu)化處理提取行為特征；將目標(biāo)特征和行為特征進(jìn)行連接，并處理得到目標(biāo)T的空間位置、行為類別；

其中低頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)對(duì)視頻幀的采樣間隔設(shè)定為inv_l＝16，低頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)用于提取目標(biāo)的空間和語義信息；高頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)對(duì)視頻幀的采樣間隔設(shè)定為inv_h＝inv_l/α，其中α＝8，卷積核的個(gè)數(shù)為低頻3D殘差網(wǎng)絡(luò)中卷積核個(gè)數(shù)的β倍，其中β＝1/8；

S2、采集學(xué)生的實(shí)時(shí)定位數(shù)據(jù)；

學(xué)生佩戴具有GPS+北斗+WiFi+基站定位功能的定位設(shè)備，以固定頻率對(duì)學(xué)生進(jìn)行定位，并將定位結(jié)果、定位時(shí)間、學(xué)生ID信息存入數(shù)據(jù)庫中，生成學(xué)生的軌跡序列；

S3、時(shí)空研判分析

利用目標(biāo)T的空間位置抽提出目標(biāo)T的空間特征，并根據(jù)相似度匹配查找出L時(shí)間段內(nèi)目標(biāo)T的全部相似目標(biāo)，將每個(gè)相似目標(biāo)的空間特征、行為類別、所在監(jiān)控?cái)z像頭的安裝位置按照時(shí)間順序排列，構(gòu)建出目標(biāo)T的可描述信息序列；截取出L時(shí)間段內(nèi)多個(gè)學(xué)生的軌跡序列，并結(jié)合目標(biāo)T的可描述信息序列，利用軌跡匹配從多個(gè)學(xué)生的軌跡序列中篩選出與目標(biāo)T匹配度最高的學(xué)生S的軌跡序列，即認(rèn)定為目標(biāo)T即為學(xué)生S，從而構(gòu)建出學(xué)生S的軌跡-行為序列對(duì)；

S4、學(xué)生行為特征分析

利用S3獲得的學(xué)生軌跡-行為序列對(duì)，結(jié)合學(xué)生在L時(shí)間段內(nèi)的課時(shí)安排、學(xué)校作息時(shí)間安排、學(xué)生基本信息等，繪制生成學(xué)生的日常活動(dòng)規(guī)律圖表，并進(jìn)行數(shù)據(jù)挖掘，發(fā)現(xiàn)學(xué)生在校期間的活動(dòng)愛好，幫助老師根據(jù)不同學(xué)生的特點(diǎn)，有效改善教學(xué)計(jì)劃；通過對(duì)學(xué)生的軌跡-行為序列對(duì)進(jìn)行長(zhǎng)時(shí)間的規(guī)律統(tǒng)計(jì)，結(jié)合人為監(jiān)督，構(gòu)建出數(shù)據(jù)預(yù)測(cè)告警功能，判定學(xué)生是否存在異常行為，異常行為包括長(zhǎng)時(shí)間的聚集、徘徊行為、軌跡偏離，做到實(shí)時(shí)預(yù)警，防止意外發(fā)生。

2.根據(jù)權(quán)利要求1所述的基于多維數(shù)據(jù)的學(xué)生行為特征智能分析方法，其特征在于：所述S1步驟的視頻結(jié)構(gòu)化處理的具體過程為：

S1.1目標(biāo)特征提取

使用低頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行目標(biāo)特征提取；

S1.2行為特征提取

使用高頻3D殘差網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行行為特征提取，計(jì)算提取的行為特征尺寸為{8,256,7,7}；

S1.3視頻分類

首先通過矩陣操作將行為特征進(jìn)行尺寸轉(zhuǎn)換，其次采用全局均值池化操作對(duì)目標(biāo)特征和轉(zhuǎn)換尺寸后的行為特征進(jìn)行處理，再次將處理過的目標(biāo)特征和行為特征進(jìn)行橫向連接，最后將目標(biāo)特征和行為特征輸入全連接層，最終得到目標(biāo)的空間位置、行為類別；

S1.4視頻結(jié)構(gòu)化

由S1.3得到目標(biāo)T的空間位置、行為類別以及S1.1得到的目標(biāo)T的空間特征共同構(gòu)建出目標(biāo)T的可描述信息{location_T,spatial_Feature_T,action_ID},用于視頻結(jié)構(gòu)化處理，其中行為類別包含寫字、繪畫、走路、跑步、拉伸肢體、打籃球、踢足球、跳舞、游泳、騎自行車、握手、擁抱、喝水、吃東西、相互推搡多個(gè)種類；視頻結(jié)構(gòu)化包括目標(biāo)匹配和生成目標(biāo)的可描述信息序列。