[發明專利]一種基于姿態識別的學習效率監測與作業審查方法

在審

• 申請號: 202010997250.2
• 申請日: 2020-09-21
• 公開（公告）號: CN114255492A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 高聰;王賡;陳煜喆
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V10/22;G06V10/82;G06N20/00;G06Q50/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于姿態識別的學習效率監測與作業審查方法，包括以下步驟：第一步、收集學生做作業時的面部表情以及肢體動作的數據；第二步、進行手部、臉部等人體各個姿態的關鍵點識別檢測；第三步、進行模型訓練，將學生的一些肢體動作、面部表情等具體的動作訓練到模型里；第四步、在線實時監測，通過視頻數據分析的結果與訓練出來的模型進行對比，判斷學生的學習狀態以及坐姿是否標準等并給出相應的語音提示；第五步、學生寫完作業后，通過與題庫的數據庫連接，對學生所作作業的正確率、學習狀態等做出一個判斷，并根據學生的學習規律以及經常犯錯的題型，為孩子定制個性化的學習計劃。本發明通過利用姿態識別技術來對學生的學習效率進行實時監測，該方法能夠讓家長更便捷地了解學生在做作業時的學習狀態，提高了教育信息化管理程度。

技術領域

本發明屬于人工智能機器人技術領域，尤其涉及一種基于姿態識別的學習 效率監測與作業審查方法。

背景技術

目前，隨著移動互聯網的發展和智能終端的普及，傳統的在普通教室教學 的方式已經滿足不了老師與家長的需求，家長希望能了解子女在課堂的學習效 率，但是如果每個家長都通過與老師溝通的方式來獲取學生信息，這就會浪費 大量的時間。隨著計算機視覺與人工智能技術的發展與進步，越來越多的事件 可以通過視頻監控來進行監測與分析，例如人臉識別，身份認證等。同樣的可 以使用智能終端產品對學生上課時的姿態動作進行監測與分析，通過獲取學生 的肩膀、手指、手腕、脖子、頭、眼睛、嘴巴等動作，來分析學生的心理、精 神、學習狀態，對當前學生的學習效率做一個評估，判斷學生是否專注學習時 間過長，是否產生疲勞等。而且現代社會父母工作壓力大，回家后還需要輔導 孩子的作業，這無疑會更加加重父母的壓力，有些家長由于沒有受過良好的教 育，在輔導孩子作業方面會存在非常大的困難。

發明內容

本發明的目的在于提出一種基于姿態識別的學習效率監測與作業審查方法。 該方法能夠讓家長更快更便捷的了解學生在做作業時的學習狀態，提高了教育 信息化管理程度。主要包括：

1)通過終端設備上的攝像頭裝置實時采集學生在做作業時的面部表情以及 相關的肢體動作等數據。

2)采集的數據主要包括肩膀、脖子、頭、肘關節、手腕、手指以及眼睛、 鼻子、嘴巴等面部表情。

3)利用分析機對采集到的圖像數據進行分析，獲取學生位置以及各種數據 信息，使用OpenPose對學生的姿態動作進行識別，進而使用CNN來進行模型 的訓練與分析。

4)同時實時檢測學生做作業時的坐姿，對于檢測到的不健康的姿勢及時提 醒，還可以提示學生專注學習時間太長，提示學生進行適當休息，保證健康。

5)通過采集到的各類數據分析當前學生的學習狀態，是否走神、精神是否 集中等，進行學習狀態檢測和情感行為識別，最終形成學生在整個作業過程中 的行為數據報告。

6)通過與學生所作測試題的數據庫相連，判斷學生答題效果并給出錯題詳 解，進一步提高學習效率。

7)通過綜合分析學生每日的學習情況，為學生規劃下一次的學習知識與學 習強度，制訂適合學生的個性化學習計劃。

本方案主要采用OpenPose來進行學生的姿態監測，OpenPose采用自下而 上的人體骨骼關鍵點檢測方法，能夠對面部關鍵點、人體骨骼關鍵點、手部關 鍵點等進行識別估計，是首個基于深度學習的實時性姿態識別模型，OpenPose 模型通過VGG-19卷積神經網絡架構訓練圖像獲取圖像特征，然后將圖像特征 分為兩個分支進行兩個階段的迭代訓練。主要模塊包括數據獲取模塊、數據訓 練模塊、行為識別模塊、數據分析模塊。

為了實現上述目的，本發明采用如下技術方案：

基于姿態識別的學習效率監測與作業審查方法，包括如下步驟：