[發明專利]一種課堂行為分析方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011490307.6
• 申請日: 2020-12-15
• 公開（公告）號: CN112464904A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 趙鑫;劉暢
• 申請（專利權）人: 北京樂學幫網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請實施例提供一種課堂行為分析方法、裝置、電子設備及存儲介質，涉及圖像處理技術領域。該方法包括接收視頻采集裝置發送的圖像序列；對所述圖像序列中的每一圖像幀進行人體關鍵點檢測，以獲取人體上半身的關鍵點位置信息；根據所述關鍵點位置信息獲取圖像序列的時序行為；根據所述多個所述時序行為確定所述視頻采集裝置所對應的用戶的課堂行為；基于所述課堂行為，對所述用戶的聽課狀態進行分析，得到分析結果，基于視頻時序信息分析教師或學生的課堂行為狀態，以解決現有方法無法反饋教師或學生的課堂行為狀態的問題。

技術領域

本申請涉及圖像處理技術領域，具體而言，涉及一種課堂行為分析方法、裝置、電子設備及存儲介質。

背景技術

隨著科技和教育的不斷發展，越來越多的學生選擇在線上課。但是，目前的在線上課方式，對學生和老師的行為沒有任何約束，如果學生和老師出現不合時宜的行為時，無法作出相應提示和反饋。

發明內容

本申請實施例的目的在于提供一種課堂行為分析方法、裝置、電子設備及存儲介質，基于視頻時序信息分析教師或學生的課堂行為狀態，以解決現有方法無法反饋教師或學生的課堂行為狀態的問題。

本申請實施例提供了一種課堂行為分析方法，所述方法包括：

接收視頻采集裝置發送的圖像序列；

對所述圖像序列中的每一圖像幀進行人體關鍵點檢測，以獲取人體上半身的關鍵點位置信息；

根據所述關鍵點位置信息獲取所述圖像序列的時序行為，所述時序行為為所述圖像序列對應的各個關鍵點位置信息按照圖像幀順序組成的連續的行為動作；

根據所述多個所述時序行為確定所述視頻采集裝置所對應的用戶的課堂行為；

基于所述課堂行為，對所述用戶的聽課狀態進行分析，得到分析結果。

在上述實現過程中，針對課堂直播教學場景，將單幀圖像的關鍵點位置信息與多幀圖像的時序行為相結合，分析教師或學生的課堂行為狀態，以便及時反饋教師或學生的課堂行為表現，進而提升教學質量，解決了現有方法無法反饋教師或學生的課堂行為狀態的問題。

進一步地，所述對所述圖像序列中的每一圖像幀進行人體關鍵點檢測，以獲取人體上半身的關鍵點位置信息，包括：

對所述圖像幀利用卷積層進行下采樣以提取圖像語義特征；

對所述圖像語義特征利用卷積層進行上采樣以獲取人體關鍵點網絡熱力圖；

根據所述人體關鍵點網絡熱力圖獲取人體關鍵點在所述圖像中的位置，其中，所述關鍵點包括左眼、右眼、左耳、右耳、頭頂、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。

在上述實現過程中，根據定義的人體關鍵點，重新設計關鍵點預測網絡并利用關鍵點預測網絡對每幀圖像進行檢測，從而輸出人體關鍵點網絡熱力圖，獲取每個關鍵點在圖像中的位置。

進一步地，所述根據所述關鍵點位置信息獲取多幀圖像的時序行為，包括：

根據所述關鍵點位置信息，確定所述圖像序列中的每一圖像幀的行為狀態；

將所述圖像序列中的各圖像幀的行為狀態按照時序排列，得到所述時序行為。

在上述實現過程中，將連讀的圖像幀的行為狀態按照時間順序排列構成時序行為，多個時序行為可用于預測教師或學生的課堂行為。

進一步地，根據所述關鍵點位置信息，確定所述圖像序列中的每一圖像幀的行為狀態，包括：

針對所述圖像序列中的任一圖像幀，所述圖像幀的當前行為狀態是根據所述圖像幀的關鍵點位置信息與前一圖像幀的行為狀態預測得到的。