[發明專利]基于視覺的網絡教學注意力監測系統及方法

在審

• 申請號: 202011042460.2
• 申請日: 2020-09-28
• 公開（公告）號: CN112417949A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 陳一君;徐洪
• 申請（專利權）人: 深圳市艾為智能有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于視覺的網絡教學注意力監測系統及方法，屬一種智能圖像識別方法，系統包括攝像頭，攝像頭接入中央處理單元，中央處理單元還接入后臺錄像分析單元，攝像頭安裝在屏幕的上方，攝像頭用于采集屏幕前方的圖像，并傳輸至中央處理單元中進行圖像識別與計算；通過攝像頭采集屏幕前方的視頻圖像，并由中央處理單元與后臺錄像分析單元分別識別視頻圖像中的人體目標的視線與屏幕之間的交點，從而以此判斷學生是否注釋屏幕，因此確定網絡教學的監控視頻內學生的專注度，從而有利于教學管理者通過監控視頻了解到更為詳細的信息，便于提升與改進教學質量，同時本發明的系統架構簡單，適于在各類網絡教育場所中安裝使用，應用范圍廣闊。

技術領域

本發明涉及一種智能圖像識別方法，更具體的說，本發明主要涉及一種基于視覺的網絡教學注意力監測系統及方法。

背景技術

隨著視頻監控技術的不斷發展，在一些特殊的場景中，人們對于監控區域內的監控需求不再局限于實況拍攝，而是想借助于拍攝的圖像對場景內目標的狀態進行分析與識別，從而增強監控視頻的利用效率，亦可從中挖掘出更多的價值信息，為管理者提供更多的數據參考。例如在中小學生的教室內、網絡教學場所使用的監控系統，由于這類人群的自制力不佳且人數眾多，如果要從監控視頻中關注到每個學生專注度是非常困難的，這給教學管理造成的阻礙，亦無法掌握教學質量及效果的實施情況，因此有必要針對在教室等特殊場景中使用的監控及視頻識別系統及識別方法做進一步的研究和改進。

發明內容

本發明的目的之一在于針對上述不足，提供一種基于視覺的網絡教學注意力監測系統及方法，以期望解決現有技術中同類監控系統在網絡教學特殊場景中應用時無法識別目標的專注狀態，對視頻的及利用率不高等技術問題。

為解決上述的技術問題，本發明采用以下技術方案：

本發明一方面提供了一種基于視覺的網絡教學注意力監測系統，所述的系統包括攝像頭，所述攝像頭接入中央處理單元，所述中央處理單元還接入后臺錄像分析單元，所述攝像頭安裝在屏幕的上方，其中：所述攝像頭用于采集屏幕前方的圖像，并傳輸至中央處理單元中；所述中央處理單元用于通過圖像處理器識別出當前圖像中人體目標的人臉圖像，并測量得出人臉框的二維坐標值以及寬度與高度rect（x,y,w,h），且由此得出人臉框的二維坐標中心點P，且P= x+w/2,y+h/2，其中，w為人臉框的寬度，h為人臉框的高度；然后通過下式得到人體目標頭部的三維坐標值P_3d，并后傳輸至后臺錄像分析單元；

上式中，px、py是rect中心點的坐標值，sw、sh是攝像頭圖像傳感器的物理寬度與高度，f是攝像頭鏡頭的焦距，w為人臉框的寬度，h為人臉框的高度；X為人體目標的人臉距離屏幕的距離；

所述后臺錄像分析單元用于通過Insightface得出人體目標頭部的姿態，并結合P_3d得到姿態值HRt(rx,ry,rz)；然后通過下式得到人體目標的視線與屏幕之間的交點Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz為人體目標頭部在三維坐標系中Z軸上的值，ry為人體目標頭部的姿態值HRt在三維坐標系中y軸上的值，Phx為人體目標頭部在三維坐標系中X軸上的值，rx為人體目標頭部的姿態值HRt在三維坐標系中x軸上的值，Phy為人體目標頭部在三維坐標系中的Y軸上的值。

作為優選，進一步的技術方案是：所述攝像頭內置有陀螺儀，用于由陀螺儀識別所述攝像頭當前的姿態角的三維坐標值rx、ry、rz，并連同屏幕前方的圖像一并傳輸至中央處理器。

更進一步的技術方案是：中央處理單元用于在計算出人體目標頭部的三維坐標值P_3d前，首先通過下式得到由攝像頭鏡頭到人臉圖像的射線三維坐標值；