[發(fā)明專利]一種教學(xué)行為的分析方法、裝置、系統(tǒng)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202010135954.9
• 申請日: 2020-03-02
• 公開（公告）號: CN111353439A
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 張軼君;朱玉榮
• 申請（專利權(quán)）人: 北京文香信息技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06Q50/20
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 郭化雨

1.一種教學(xué)行為的分析方法，其特征在于，應(yīng)用于教學(xué)行為分析，所述方法包括：

獲取待處理圖像，所述待處理圖像中攜帶有用戶的肢體信息和面部信息；

將所述待處理圖像輸入到行為特征分析模型，得到所述用戶的行為特征的分析結(jié)果；

其中，所述行為特征分析模型是基于訓(xùn)練數(shù)據(jù)和所述訓(xùn)練數(shù)據(jù)對應(yīng)的分析結(jié)果進(jìn)行訓(xùn)練得到的；所述訓(xùn)練數(shù)據(jù)為攜帶有肢體信息和面部信息的歷史圖像，所述訓(xùn)練數(shù)據(jù)對應(yīng)的分析結(jié)果為所述歷史圖像的預(yù)設(shè)分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述行為特征分析模型包括：第一特征提取層、第二特征提取層、特征融合層和輸出層；

將所述待處理圖像輸入到行為特征分析模型，得到所述用戶的行為特征得分具體包括：

將所述待處理圖像輸入到所述第一特征提取層，獲得肢體特征向量；將所述待處理圖像輸入到所述第二特征提取層，獲得面部特征向量；

將所述肢體特征向量和所述面部特征向量輸入到特征融合層，獲得融合特征向量；

將所述融合特征向量輸入到輸出層，輸出所述待處理圖像的行為特征的分析結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述行為特征分析模型還包括：特征匹配層；在將所述肢體特征向量和所述面部特征向量輸入到特征融合層之前，所述方法還包括：

將所述肢體特征向量和所述面部特征向量輸入到所述特征匹配層，輸出所述肢體特征向量與所述面部特征向量匹配。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述特征匹配層包括第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)和第三神經(jīng)網(wǎng)絡(luò)；將所述肢體特征向量和所述面部特征向量輸入到所述特征匹配層，輸出所述肢體特征向量與所述面部特征向量匹配具體包括：

將所述肢體特征向量輸入到所述第一神經(jīng)網(wǎng)絡(luò)，輸出所述肢體特征向量的位置；將所述面部特征向量輸入到所述第二神經(jīng)網(wǎng)絡(luò)，輸出所述面部特征向量的位置；

將所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)的輸出，輸入到所述第三神經(jīng)網(wǎng)絡(luò)，當(dāng)所述肢體特征向量的位置與所述面部特征向量的位置低于預(yù)設(shè)閾值時(shí)，輸出所述肢體特征向量與所述面部特征向量匹配。

5.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法，其特征在于，所述肢體特征向量的位置至少包括以下一種：手的位置坐標(biāo)、肘的位置坐標(biāo)和肩的位置坐標(biāo)；所述面部特征向量的位置包括：五官的位置坐標(biāo)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述行為特征的分析結(jié)果至少包括以下一種：參與度、專注度和疑惑度，當(dāng)所述行為特征的分析結(jié)果包括參與度時(shí)，所述參與度與所述肢體特征向量正相關(guān)；當(dāng)所述行為特征的分析結(jié)果包括專注度時(shí)，所述專注度與所述面部特征向量正相關(guān)；當(dāng)所述行為特征的分析結(jié)果包括疑惑度時(shí)，所述疑惑度與所述肢體特征向量和所述面部特征向量的加權(quán)結(jié)果正相關(guān)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：將所述疑惑度大于預(yù)設(shè)值的圖像進(jìn)行標(biāo)記。

8.一種教學(xué)行為的分析裝置，其特征在于，應(yīng)用于教學(xué)行為分析，所述裝置包括：獲取單元和輸入單元；

所述獲取單元，用于獲取待處理圖像，所述待處理圖像中攜帶有用戶的肢體信息和面部信息；

所述輸入單元，用于將所述待處理圖像輸入到行為特征分析模型，得到所述用戶的行為特征的分析結(jié)果；

其中，所述行為特征分析模型是基于訓(xùn)練數(shù)據(jù)和所述訓(xùn)練數(shù)據(jù)對應(yīng)的分析結(jié)果進(jìn)行訓(xùn)練得到的；所述訓(xùn)練數(shù)據(jù)為攜帶有肢體信息和面部信息的歷史圖像，所述訓(xùn)練數(shù)據(jù)對應(yīng)的分析結(jié)果為所述歷史圖像的預(yù)設(shè)分析結(jié)果。