[發明專利]一種教學行為的分析方法、裝置、系統及設備

在審

• 申請號: 202010135954.9
• 申請日: 2020-03-02
• 公開（公告）號: CN111353439A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 張軼君;朱玉榮
• 申請（專利權）人: 北京文香信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06Q50/20
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

本申請公開了一種教學行為的分析方法、裝置、系統和設備，應用于教學行為分析，該方法包括：獲取待處理圖像，所述待處理圖像中攜帶有用戶的肢體信息和面部信息；將所述待處理圖像輸入到行為特征分析模型，得到所述用戶的行為特征的分析結果；其中，所述行為特征分析模型是基于訓練數據和所述訓練數據對應的分析結果進行訓練得到的；所述訓練數據為攜帶有肢體信息和面部信息的歷史圖像，所述訓練數據對應的分析結果為所述歷史圖像的預設分析結果。通過預先建立的模型，對圖像進行處理，避免了現有技術中識別人物的教學行為特征人為主觀因素的影響，獲取的行為特征、行為分析結果更具有客觀性。

技術領域

本申請涉及數據處理領域，特別是涉及一種教學行為的分析方法、裝置、系統及設備。

背景技術

課堂上，對學生的行為進行分析，是信息化教學發展到近幾年的一個重要需求。

在現有技術中，通過捕捉課堂上學生的圖像，然后由教研人員觀察圖像中學生的舉手動作和面部表情等信息，來對該學生的行為進行分析，并為該學生在課堂上的表現進行打分。

然而，通過教研人員對學生在課堂上的表現進行打分的過程中，難免會摻雜教研人員的主觀情緒，導致打分不準確。缺乏客觀性的分數對以后的教研工作進行改進的參考意義較小。

發明內容

為了解決上述技術問題，本申請提供了一種教學行為的分析方法、裝置、系統及設備。通過預先建立的模型，對圖像進行處理，避免了現有技術中識別人物的教學行為特征人為主觀因素的影響，獲取的行為特征、行為分析結果更具有客觀性。

本申請公開了如下技術方案：

第一方面，本申請提供了一種教學行為的分析方法，應用于教學行為分析，所述方法包括：

獲取待處理圖像，所述待處理圖像中攜帶有用戶的肢體信息和面部信息；

將所述待處理圖像輸入到行為特征分析模型，得到所述用戶的行為特征的分析結果；

其中，所述行為特征分析模型是基于訓練數據和所述訓練數據對應的分析結果進行訓練得到的；所述訓練數據為攜帶有肢體信息和面部信息的歷史圖像，所述訓練數據對應的分析結果為所述歷史圖像的預設分析結果。

可選的，所述行為特征分析模型包括：第一特征提取層、第二特征提取層、特征融合層和輸出層；

將所述待處理圖像輸入到行為特征分析模型，得到所述用戶的行為特征得分具體包括：

將所述待處理圖像輸入到所述第一特征提取層，獲得肢體特征向量；將所述待處理圖像輸入到所述第二特征提取層，獲得面部特征向量；

將所述肢體特征向量和所述面部特征向量輸入到特征融合層，獲得融合特征向量；

將所述融合特征向量輸入到輸出層，輸出所述待處理圖像的行為特征的分析結果。

可選的，所述行為特征分析模型還包括：特征匹配層；在將所述肢體特征向量和所述面部特征向量輸入到特征融合層之前，所述方法還包括：

將所述肢體特征向量和所述面部特征向量輸入到所述特征匹配層，輸出所述肢體特征向量與所述面部特征向量匹配。

可選的，所述特征匹配層包括第一神經網絡、第二神經網絡和第三神經網絡；將所述肢體特征向量和所述面部特征向量輸入到所述特征匹配層，輸出所述肢體特征向量與所述面部特征向量匹配具體包括：

將所述肢體特征向量輸入到所述第一神經網絡，輸出所述肢體特征向量的位置；將所述面部特征向量輸入到所述第二神經網絡，輸出所述面部特征向量的位置；