[發明專利]基于AI視覺的實驗考試智能評分系統

有效

• 申請號: 202010728327.6
• 申請日: 2020-07-23
• 公開（公告）號: CN111915460B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 孫效華;郭煒煒;葉穎;周鑫;孟詩喬;張嘯天;趙羿昕
• 申請（專利權）人: 同濟大學
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06V20/40;G06V10/82;G06V10/774;G06V40/10;G06N3/04;G06N3/08;G06V30/10
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于AI視覺的實驗考試智能評分系統，所述系統應用于中學物理、化學、生物實驗的教學、練習與考試的場景中，其特征在于：所述系統包括學生端(1)、教師端(2)、服務器端(3)，所述服務器端(3)包括算法模塊(4)和數據庫(5)；具體應用時，還包括第一用戶、第二用戶，所述第一用戶為學生，所述第二用戶為教師；

所述算法模塊(4)運行于服務器端(3)上，所述數據庫(5)存儲于服務器端(3)供算法模塊(4)調用，所述服務器端(3)包括云服務器；

所述學生端(1)是一個智能實驗臺，包括常規實驗設備、學生客戶端和兩個采集視頻的攝像頭，學生在客戶端上進行常規操作以及填寫實驗報告；攝像頭分別位于學生試驗臺正前方中央，以及右側，并有可調節角度的支架以及萬向頭，便于采集各個方向的視頻數據；

所述教師端(2)是一個可以管理學生信息、實驗練習與考試的軟件平臺，可以與所述服務器端(3)以及所述數據庫(5)之間進行信息傳輸；所述教師端(2)可以向所述學生端(1)傳輸交互信息；所述教師端(2)可向第二用戶顯示第一用戶的實驗歷史信息，以及使第二用戶向所述服務器端(3)傳輸交互信息，并對所述數據庫(5)中的部分數據進行管理；

所述算法模塊(4)包括動態算法、靜態算法和儀表與實驗結果識別，三個部分；對不同實驗，采用這三種算法進行評分，最終將三種算法給出的評分相加得出準確、全面的實驗評分；

所述動態算法部分利用骨架線提取算法對運動的第一用戶的人體特征點進行提取，同時利用物體識別算法對運動的物體位置進行識別，并將提取出的人體特征點和物體位置的特征點利用預訓練好的基于CNN和LSTM的神經網絡模型對輸入的特征向量進行處理，通過對每一個步驟是否得分的方式進行二分類，相加后得到最終的整體的評分；

所述數據庫(5)可以存儲所述第一用戶的個人信息和歷史信息，并可以存儲基于CNN和LSTM的神經網絡模型所需的全部樣本數據；在服務器系統上獲得用戶上傳的數據之后，可以擴大數據集，從而使任何深度學習模型的準確率得以提升；

所述動態算法，為針對人和物體的動態時間序列分類算法，該算法流程為：

(1)特征提取

從學生端提供來的視頻數據，首先利用Alphapose算法的骨架線提取算法提取出每一時刻的人的特征點，利用SSD算法物體識別算法提取出物體的位置作為特征點；

(2)輸入前預處理

將步驟(1)每一時刻提取出的所有特征點的位置特征點拼接成一個長度為N的特征向量X，若提取幀數總數為n，則此時共構成了n個N維的特征向量作為步驟(3)算法的輸入；設輸入數據在每一時刻的特征向量為第一維度，輸入數據的時間維度為第二維度；輸入數據的維度為：N×n；

(3)網絡算法

神經網絡總共分為兩部分：frontend和backend，frontend的作用是從步驟(2)特征向量中提取多通道的特征，backend的作用為通過從兩個角度處理frontend部分提取出的多通道的特征；

其中，frontend的具體結構為：使用大小為1×3的卷積核，對輸入數據的第一維度進行卷積，并使用average pooling對數據進行降維，具體卷積核和池化層的數目可隨實際情況進行人為調整；設卷積后通道的個數為channel，并設通道維度為第三維度；數據的長度從n降為n′，則數據此時維度變為N×n′×channel；

其中，backend的具體結構為：backend部分分為兩個支路進行并行處理，第一條支路利用原始輸入數據中單個特征隨時間變化的關系對時間序列進行分類；第二條支路利用多個特征之間相互的關系對時間序列進行分類；然后將兩個支路得到的結果進行疊加(concat)得到最終分類結果；

第一條支路：將frontend處理好的數據重組(Flatten)為N·channel×n′的維度，并輸入到LSTM神經網絡中，在每一個時間步產生一個矩陣h，并利用Attention機制通過訓練改變每次循環的序列中間輸出結果的權重；將隱層h_t的輸出結果與α_t相乘，將所有相乘的結果相加后進行歸一化操作得到輸出S_t；設LSTM神經網絡隱層神經元數目為β₁，則經過attention后得到的數據S_t維度為β₁×m₁；將S_t輸入到單層或多層的全連接神經網絡中，最終得到分類結果

第二條支路：利用3d卷積將frontend得到的維度為N×n′×channel的數據卷積成維度為N'×n'×channel'的數據；然后將其數據重組(Flatten)為N'·n'×channel'的維度，并輸入到LSTM神經網絡中，在每一個時間步產生一個矩陣h'，并利用Attention機制通過訓練改變每次循環的序列中間輸出結果的權重；將隱層h_t'的輸出結果與α_t'相乘，將所有相乘的結果相加后進行歸一化操作得到輸出S_t'同公式一；設LSTM神經網絡隱層神經元數目為β₂，則經過attention后得到的數據S_t'維度為β₂×m₂；將S_t'輸入到單層或多層的全連接神經網絡中，最終得到分類結果

最后，將與通過加權相加得到最終結果

(4)訓練模型

在訓練模型時，將實際的評分y_t與輸出結果進行誤差計算，利用神經網絡的反向傳播算法對模型中的參數進行學習；

其中，backend中的兩個支路可以分別進行預訓練；預訓練的方法為：訓練其中一條支路時，將另一條支路在訓練時去除，僅獲得當前支路的訓練后模型參數；兩個支路分別訓練完后，進行總體的訓練(finetune)：將兩個預訓練好的支路在總體訓練時加載到訓練模型中，利用同樣的訓練數據進行重復訓練；

損失函數為交叉熵損失(Cross Entropy Loss)，為公式二；模型采用Adam優化器，其詳細參數為：lr＝0.001,betas＝(0.9,0.999),eps＝1e-08,weight_decay＝0,amsgrad＝False；最終得到時間序列分類模型；

M——類別的數量；

y_i——指示變量0或1,如果該類別和樣本的類別相同就是1，否則是0；

p_i——對于觀測樣本屬于類別i的預測概率；

(5)利用已經訓練好的網絡模型進行預測

所述靜態算法部分利用SSD算法針對靜態物體的相對位置關系進行識別，得到位置后與標準答案中的位置進行比對，提供給評分模塊進而給出評分；

所述儀表與實驗結果識別部分利用OCR技術實現文字、數字和表格識別，利用opencv和深度學習算法實現儀表刻度和指針示數的讀??；

當所述算法模塊(4)對所述服務器端(3)中的實驗視頻進行處理時，針對視頻中的運動物體，利用人體骨骼點提取算法和物體檢測算法對采集后的視頻數據處理，提取出人體骨骼點和物體位置的時間序列，利用預訓練好的帶有注意力機制的LSTM神經網絡進行視頻運動特征的提取，將提取出的特征向量與數據庫中的標準實驗步驟進行比對，進而自動評分并給出錯誤分析；針對視頻中的靜態物體，利用基于深度學習和Opencv的物體檢測技術，確定物體的相對位置，進而對實驗結果進行打分并給出錯誤分析；針對視頻中的文字、儀器示數和表格，利用Opencv和OCR技術對文字和刻度進行識別，與標準答案進行比對后，對學生的實驗進行自動評分并給出錯誤分析；綜合所述動態算法部分、靜態算法部分和儀表與實驗結果識別部分得到的評分，得出該實驗視頻中所述第一用戶的最終評分，并最終由軟件界面對分數和錯誤分析進行可視化呈現。