[發明專利]基于大數據和人工智能的學校課堂學生學習行為跟蹤分析方法及云管理平臺

在審

• 申請號: 202110066797.5
• 申請日: 2021-01-19
• 公開（公告）號: CN112766150A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 李成隆;王亮
• 申請（專利權）人: 李成隆
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于大數據和人工智能的學校課堂學生學習行為跟蹤分析方法，其特征在于：包括以下步驟：

S1：采集教室內各個學生的圖像信息，并進行圖像預處理操作；

S2：對各個學生圖像信息進行特征提取，確定各個學生的行為種類特征和人臉圖像偏角；

S3：統計各個學生在不同學科的學習行為評估系數以及對應的學習行為等級和各個學科的學生興趣度；

S4：對各個學生在不同學科的學習行為評估系數以及對應的學習行為等級和各個學科的學生興趣度進行顯示；

上述基于大數據和人工智能的學校課堂學生學習行為跟蹤分析方法使用了一種基于大數據和人工智能的學校課堂學生學習行為跟蹤分析系統，包括區域劃分模塊、平面坐標劃分模塊、圖像采集模塊、圖像預處理模塊、建模分析服務器、圖像特征提取模塊、數據庫、管理服務器和顯示終端；

所述圖像采集模塊分別與區域劃分模塊、圖像特征提取模塊和圖像預處理模塊連接，圖像特征提取模塊分別與圖像預處理模塊、建模分析服務器和數據庫連接，建模分析服務器分別與數據庫和顯示終端連接，管理服務器分別與顯示終端、數據庫和平面坐標劃分模塊連接；

所述平面坐標劃分模塊用于對教室內學生的位置坐標進行劃分，以靠近老師講臺最左邊第一排第一個學生的位置為坐標原點建立平面直角坐標系，將靠近老師講臺的第一排座位作為平面直角坐標系的X軸，以坐標原點從左往右的方向作為平面直角坐標系X軸的正方向，將靠近老師講臺最左邊第一列座位作為平面直角坐標系的Y軸，以坐標原點從下往上的方向作為平面直角坐標系Y軸的正方向，將各個學生的位置以坐標形式進行標記，并將各個學生的位置坐標發送至管理服務器；

所述區域劃分模塊用于對教室內所有學生的位置進行區域劃分，將教室內所有學生的位置劃分成若干面積相同的檢測子區域，將劃分后的各個檢測子區域按照各檢測子區域依次距離老師講臺的距離由近到遠的順序進行編號，依次標記為1,2,...,i,...,g,并將各檢測子區域內的所有學生，按照預設的順序，依次標記為1,2,...,m,...,n；

所述圖像采集模塊包括高清攝像頭，安裝在教室內，用于對教室內上各種學科時各個檢測子區域內所有的學生進行圖像采集，并將采集到的上各種學科時各個檢測子區域內所有學生的圖像分別發送至圖像預處理模塊和圖像特征提取模塊；

所述圖像預處理模塊接受上各種學科時各個檢測子區域內所有學生的圖像，對接收的上各種學科時各個檢測子區域內所有學生的圖像進行圖像分割，拼接圖像分割得到的人臉特征區域，并去除該區域之外的背景圖像，將保留的區域圖像通過幾何歸一化處理變化為大小一致且人臉存在偏角的圖像，同時進行灰度變換處理和圖像增強處理，得到處理后的上各種學科時各個檢測子區域內所有學生的存在偏角的人臉目標圖像，并將處理后的上各種學科時各個檢測子區域內所有學生的存在偏角的人臉目標圖像發送至圖像特征提取模塊；

所述圖像特征提取模塊，接收圖像采集模塊發送的上各種學科時各個檢測子區域內所有學生的圖像，對接收到的上各種學科時各個檢測子區域內所有學生的圖像進行放大，并對上各種學科時各個檢測子區域內所有學生的圖像中學生的行為特征與數據庫中存儲的不同種類的學生行為特征進行對比，得到上該中學科時該檢測子區域內該學生的行為種類特征，進而得到上各種學科時各個檢測子區域內所有學生的行為種類特征，構成行為種類特征集合A_pi(a_pi1,a_pi2,...,a_pim,...,a_pin)，a_pim表示為上第p種學科時第i個檢測子區域內第m個學生的行為種類特征，接收圖像預處理模塊發送的上各種學科時各個檢測子區域內所有學生的存在偏角的人臉目標圖像，提取上各種學科時各個檢測子區域內所有學生的人臉目標圖像的偏角，構成人臉圖像偏角集合B_pi(b_pi1,b_pi2,...,b_pim,...,b_pin)，b_pim表示為上第p種學科時第i個檢測子區域內第m個學生的人臉圖像偏角，圖像特征提取模塊將行為種類特征集合和人臉圖像偏角集合發送至建模分析服務器；

所述數據庫用于存儲學生的不同行為種類特征，存儲學生的標準學習行為特征，存儲人臉圖像標準偏角范圍，存儲學生的人臉圖像偏角不在人臉圖像標準偏角范圍的時間閾值，并存儲不同學習行為等級對應的學習行為評估系數范圍；

所述建模分析服務器接收圖像特征提取模塊發送的行為種類特征集合，提取數據庫中存儲的標準學習行為特征，將行為種類特征集合中上各種學科時各個檢測子區域內各個學生的行為種類特征與數據庫中存儲的標準學習行為特征進行對比，構成行為種類特征對比集合A′_pi(a′_pi1,a′_pi2,...,a′_pim,...,a′_pin)，a′_pim表示為上第p種學科時第i個檢測子區域內第m個學生的行為種類特征與標準學習行為特征的對比值，若上第p種學科時第i個檢測子區域內第m個學生的行為種類特征與標準學習行為特征對比成功，則a′_pim等于固定數值R，若上第p種學科時第i個檢測子區域內第m個學生的行為種類特征與標準學習行為特征對比失敗，則a′_pim等于0，建模分析服務器根據行為種類特征對比集合統計各個學科的學生行為種類匹配吻合系數；

建模分析服務器接收圖像特征提取模塊發送的人臉圖像偏角集合，提取數據庫中存儲的人臉圖像標準偏角范圍，將人臉圖像偏角集合中上各種學科時各檢測子區域內各個學生的人臉圖像偏角與人臉圖像標準偏角范圍進行對比，構成人臉圖像偏角對比集合B′_pi(b′_pi1,b′_pi2,...,b′_pim,…,b′_pin)，b′_pim表示為上第p種學科時第i個檢測子區域內第m個學生的人臉圖像偏角與人臉圖像標準偏角范圍的對比值，若該學生的人臉圖像偏角在人臉圖像標準偏角范圍內，則b′_pim＝0，若該學生的人臉圖像偏角小于人臉圖像標準偏角范圍的最小值，則將該學生的人臉圖像偏角與人臉圖像標準偏角范圍的最小值做差，取絕對值，若該學生的人臉圖像偏角大于人臉圖像標準偏角范圍的最大值，則將該學生的人臉圖像偏角與人臉圖像標準偏角范圍的最大值做差，取絕對值，并統計上各種學科時各檢測子區域內所有學生的人臉圖像偏角不在人臉圖像標準偏角范圍的時間；

建模分析服務器根據人臉圖像偏角對比集合、上各種學科時各檢測子區域內所有學生的人臉圖像偏角不在人臉圖像標準偏角范圍的時間，以統計各個學生在不同學科的學習行為評估系數，根據各個學科的學生行為種類匹配吻合系數和各個學生在不同學科的學習行為評估系數以統計各個學科的學生興趣度，將各個學生在不同學科的學習行為評估系數發送至管理服務器，將各個學科的學生興趣度發送至顯示終端；

管理服務器接收各個學生在不同學科的學習行為評估系數以及對應學生的位置坐標，提取數據庫中存儲的不同學習行為等級對應的學習行為評估系數范圍，將各個學生在不同學科的學習行為評估系數與數據庫中存儲的不同學習行為等級對應的學習行為評估系數范圍進行對比，若該學生在該學科的學習行為評估系數在一級學習行為等級對應的學習行為評估系數范圍內，則該學生在該學科的學習行為等級為一級學習行為等級，若該學生在該學科的學習行為評估系數在二級學習行為等級對應的學習行為評估系數范圍內，則該學生在該學科的學習行為等級為二級學習行為等級，若該學生在該學科的學習行為評估系數在三級學習行為等級對應的學習行為評估系數范圍內，則該學生在該學科的學習行為等級為三級學習行為等級，管理服務器將各個學生在不同學科的學習行為評估系數以及對應的學習行為等級和該學生的位置坐標發送至顯示終端；

所述顯示終端接收建模分析服務器發送的各個學科的學生興趣度，接收管理服務器發送的各個學生在不同學科的學習行為評估系數以及對應的學習行為等級和該學生的位置坐標，并進行顯示。