[發明專利]一種課堂行為分析方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011490307.6
• 申請日: 2020-12-15
• 公開（公告）號: CN112464904A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 趙鑫;劉暢
• 申請（專利權）人: 北京樂學幫網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種課堂行為分析方法，其特征在于，所述方法包括：

接收視頻采集裝置發送的圖像序列；

對所述圖像序列中的每一圖像幀進行人體關鍵點檢測，以獲取人體上半身的關鍵點位置信息；

根據所述關鍵點位置信息獲取所述圖像序列的時序行為，所述時序行為為所述圖像序列對應的各個關鍵點位置信息按照圖像幀順序組成的連續的行為動作；

根據多個所述時序行為確定所述視頻采集裝置所對應的用戶的課堂行為；

基于所述課堂行為，對所述用戶的聽課狀態進行分析，得到分析結果。

2.根據權利要求1所述的課堂行為分析方法，其特征在于，所述對所述圖像序列中的每一圖像幀進行人體關鍵點檢測，以獲取人體上半身的關鍵點位置信息，包括：

對所述圖像幀利用卷積層進行下采樣以提取圖像語義特征；

對所述圖像語義特征利用卷積層進行上采樣以獲取人體關鍵點網絡熱力圖；

根據所述人體關鍵點網絡熱力圖獲取人體關鍵點在所述圖像中的位置，其中，所述人體關鍵點包括左眼、右眼、左耳、右耳、頭頂、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。

3.根據權利要求1所述的課堂行為分析方法，其特征在于，所述根據所述關鍵點位置信息獲取所述圖像序列的時序行為，包括：

根據所述關鍵點位置信息，確定所述圖像序列中的每一圖像幀的行為狀態；

將所述圖像序列中的各圖像幀的行為狀態按照時序排列，得到所述時序行為。

4.根據權利要求3所述的課堂行為分析方法，其特征在于，根據所述關鍵點位置信息，確定所述圖像序列中的每一圖像幀的行為狀態，包括：

針對所述圖像序列中的任一圖像幀，所述圖像幀的當前行為狀態是根據所述圖像幀的關鍵點位置信息與前一圖像幀的行為狀態預測得到的。

5.根據權利要求1所述的課堂行為分析方法，其特征在于，所述根據多個所述時序行為確定所述視頻采集裝置所對應的用戶的課堂行為，包括：

將所述時序行為在預設的行為數據庫中進行查找，以獲取最接近行為，作為所述用戶的課堂行為。

6.根據權利要求1所述的課堂行為分析方法，其特征在于，在得到分析結果之后，所述課堂行為分析方法還包括：

根據所述分析結果，確定所述用戶的課堂行為是否合規；

若否，則向所述用戶發送提醒消息。

7.一種課堂行為分析裝置，其特征在于，所述裝置包括：

圖像獲取模塊，用于接收視頻采集裝置發送的圖像序列；

關鍵點檢測模塊，用于對所述圖像序列中的每一圖像幀進行人體關鍵點檢測，以獲取人體上半身的關鍵點位置信息；

行為分析模塊，用于根據所述關鍵點位置信息獲取所述圖像序列的時序行為，所述時序行為為所述圖像序列對應的各個關鍵點位置信息按照圖像幀順序組成的連續的行為動作；

課堂行為獲取模塊，用于根據所述多個所述時序行為確定所述視頻采集裝置所對應的用戶的課堂行為；

分析結果獲取模塊，用于基于所述課堂行為，對所述用戶的聽課狀態進行分析，得到分析結果。

8.根據權利要求7所述的課堂行為分析裝置，其特征在于，所述關鍵點檢測模塊包括：

特征提取模塊，用于對所述圖像幀利用卷積層進行下采樣以提取圖像語義特征；

熱力圖獲取模塊，用于對所述圖像語義特征利用卷積層進行上采樣以獲取人體關鍵點網絡熱力圖；

位置獲取模塊，用于根據所述人體關鍵點網絡熱力圖獲取人體關鍵點在所述圖像中的位置，其中，所述人體關鍵點包括左眼、右眼、左耳、右耳、頭頂、下巴、脖子、左手腕、右手腕、左手指、右手指、左肘、右肘、左肩和右肩。

9.一種電子設備，其特征在于，所述電子設備包括存儲器以及處理器，所述存儲器用于存儲計算機程序，所述處理器運行所述計算機程序以使計算機設備執行根據權利要求1至6中任一項所述的課堂行為分析方法。

10.一種可讀存儲介質，其特征在于，所述可讀存儲介質中存儲有計算機程序指令，所述計算機程序指令被一處理器讀取并運行時，執行權利要求1至6任一項所述的課堂行為分析方法。