[發明專利]一種基于姿態識別的學習效率監測與作業審查方法

在審

• 申請號: 202010997250.2
• 申請日: 2020-09-21
• 公開（公告）號: CN114255492A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 高聰;王賡;陳煜喆
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V10/22;G06V10/82;G06N20/00;G06Q50/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于姿態識別的學習效率監測與作業審查方法，其特征在于，包括如下步驟：

第一步、收集學生做作業時的面部表情以及肢體動作的數據。

第二步、進行手部、臉部等人體各個姿態的關鍵點識別檢測。

第三步、進行模型訓練，將學生的一些肢體動作、面部表情等具體的動作訓練到模型里，采用機器學習的第三方模塊sklearn，可以采用的算法有線性模型，knn，GBDT。

第四步、在線實時監測，通過視頻數據分析的結果與訓練出來的模型進行對比，判斷學生的學習狀態以及坐姿是否標準等并給出相應的語音提示。

第五步、學生寫完作業后，通過與題庫的數據庫連接，對學生所作作業的正確率、學習狀態等做出一個判斷，并根據學生的學習規律以及經常犯錯的題型，為孩子定制個性化的學習計劃。

2.根據權利要求1所述的一種基于姿態識別的學習效率監測與作業審查方法，其特征在于，第一步具體包括：

步驟S101：接通電源，打開終端設備。

步驟S102：通過設備上的攝像頭等傳感器捕捉2D圖像，收集學生做作業時的面部表情以及肢體動作的數據。

3.根據權利要求1所述的一種基于姿態識別的學習效率監測與作業審查方法，其特征在于，第二步具體包括：

步驟S201：讀取視頻數據，OpenPose的關鍵點檢測器會識別并標記出身體特點的部位。

步驟S202：幫助身體跟蹤算法了解不同角度下每個姿勢的表現，識別各個關鍵點，比如手部關鍵點識別、臉部關鍵點識別。

步驟S203：利用OpenPose命令獲取節點信息。

步驟S204：用python進行過濾分析，過濾掉平均置信度小的節點,置信度表示的是訓練集圖片中一點為關鍵點的概率，之后保存為json文件(讀到python里面就是字典)。

4.根據權利要求1所述的一種基于姿態識別的學習效率監測與作業審查方法，其特征在于，第三步具體包括：

步驟S301：下載訓練OpenPose模型的相關項目代碼。(https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation)。

步驟S302：將學生的一些肢體動作、面部表情等具體的動作作為數據集輸入(數據集盡可能多一點)。

步驟S303：編譯訓練OpenPose模型所使用的caffe。

步驟S304：在training目錄下運行genANNO.m將數據集中的原始圖片信息由json轉化為mat格式；運行genCOCOMask.m得到未標注的人的mask圖片；運行genJSON.m文件得到存儲了用于訓練的信息的json文件；運行genLMDB.py文件得到訓練用的lmdb格式數據集。

步驟S305：準備訓練用的prototxt模型文件，進行模型訓練。

5.根據權利要求1所述的一種基于姿態識別的學習效率監測與作業審查方法，其特征在于，第四步具體包括：

步驟S401：終端設備實時獲取學生做作業時的面部表情及體態動作。

步驟S402：將實時數據與訓練好的模型相對比，分析學生此刻的姿態動作。

步驟S403：根據對學生做作業時的動作分析，判斷學生的學習狀態，并給出相應的語音提示。

6.根據權利要求1所述的一種基于姿態識別的學習效率監測與作業審查方法，其特征在于，第五步具體包括：

步驟S501：收集學生的手寫作業數據，通過點陣數碼筆來實現。

步驟S502：獲取到學生手寫數據后，先通過圖像處理技術將手寫數據拆解成文本行，然后通過聯機手寫識別技術(CNN+BLSTM+CTC)來識別出每一行的文字。

步驟S503：識別出標準答案后，通過數學符號語言處理等算法，自動生成所有的同義表達式。將學生筆跡的最終答案，與標準答案的所有同義表達式進行匹配比較，找到結果一致的表達式。