[發明專利]一種基于數據驅動的知識點掌握狀態的預測系統及方法

在審

• 申請號: 201611046483.4
• 申請日: 2016-11-23
• 公開（公告）號: CN106779166A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 余勝泉;盧宇;陳陽
• 申請（專利權）人: 北京師范大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/20
• 代理公司: 北京科迪生專利代理有限責任公司11251
• 代理人: 楊學明,顧煒

1.一種基于數據驅動的知識點掌握狀態的預測系統，其特征在于：包括測試題目的生成和屬性標注模塊、訓練數據采集模塊、基于測試數據的多維度特征提取模塊、數據驅動的預測模型建立模塊，其中：

測試題目的生成和屬性標注模塊：根據課程標準按照所屬學科及知識點之間的父子關系進行整理，對每個學科形成N層知識點結構；同時，根據學習者進行相應學科的認知活動能力和心理調節能力，將學科能力進行分級；根據所述的N層知識點結構和學科能力分級，生成所需測試題目；對于所述生成的所有測試題目，進行水平等級劃分，將測試題目劃分為多個等級；對于需測試題目的每個第N層知識點，也就是每個最底層知識點，生成的測試題目數量需滿足最少題目要求；

訓練數據采集模塊：基于測試題目的生成和屬性標注模塊生成的測試題目，組織學習者進行測試，測試可以采用線上系統電子化測試或者線下試卷測試；學習者應涵蓋同一年齡各層次水平的人群；測試過程應在獨立且無干擾的條件下進行；訓練數據可以分多次、不同時段進行收集，但是不可以在同一學習者上進行反復測試；同時，如果單一學習者的訓練數據不完整或者有明顯抄襲、重復答案等特征，應該從訓練數據集中移除，最終得到有效的訓練數據；

基于訓練數據的多維度特征提取模塊：對訓練數據采集模塊得到的每位學習者的數據，首先進行基本特征的逐級特征提取，對測試所涉及的每個第N層知識點，分別計算得分率，所有得分率作為第N層知識點基本特征向量V_N；對于每個第N-1層知識點，如果其下轄的所有第N層知識點均有得分率，則稱為已知知識點，計算已知知識點所下轄的所有知識點的平均得分率作為該N-1層知識點的基本特征值；如果該N-1層知識點下轄知識點的得分率部分缺失或者全部缺失，則該第N-1層知識點稱為未知知識點；未知知識點的基本特征值為空；對所有第N-1層已知知識點，得到其基本特征向量V_N-1；同理，能夠得到各層已知知識點的基本特征向量V_N-2,V_N-3,…,V₁；同時，將學習者的性別、年齡個人特征作為補充特征向量G，從而完成訓練數據的多維度特征提取，多維度特征包括各層已知知識點的基本特征向量V_N-2,V_N-3,…,V₁和補充特征向量G；標注訓練數據中已知知識點掌握程度Y_A，標注根據各項得分率結合經驗規則進行，標注的知識點掌握程度可以分為多個等級；

數據驅動的預測模型建立模塊：對于標注的已知知識點掌握程度Y_A，根據各層已知知識點的基本特征向量V_N-2,V_N-3,…,V₁及補充特征向量G，建立多元分類算法的單一預測模型，預測出知識點A的掌握程度Y_A；所述單一預測模型是指基于單個預測模型，包括人工神經網絡、隨機森林或邏輯回歸的經典模型，先對所述各個預測模型進行準確度評估，根據評估結果，最終決定其中一種模型作為預測模型。

2.根據權利要求1所述的一種基于數據驅動的知識點掌握狀態的預測系統，其特征在于：所述標注已知知識點掌握程度Y_A的多個等級包括卓越、優秀、良好、合格以及不合格。

3.根據權利要求1所述的一種基于數據驅動的知識點掌握狀態的預測系統，其特征在于：所述數據驅動的預測模型建立模塊實現如下：

步驟(1)基于所述的測試數據的多維度特征和訓練所用的知識點掌握程度，生成訓練數據，訓練數據的輸出為任一給定知識點A的掌握程度；分別利用多個不同的經典模型進行訓練，包括單層或者多層結構人工神經網絡模型(Artificial Neural Network)、隨機森林(Random Forest)模型以及邏輯回歸(Logistic Regression)模型，其中對于單層神經網絡模型，訓練算法采用反向傳播算法(Backpropagation)；

步驟(2)通過獨立訓練得到m個不同的模型后，利用K次交叉驗證方法，計算所得模型的準確率A₁,A₂,…A_m,取準確率最高的模型為最終預測模型Ω；最終預測模型Ω的輸出為{P(j)|j＝1,2,3……}，其中P(j)是最終預測模型對知識點第j級掌握程度的預測概率，最后取P(j)中預測概率數值最大者所對應的等級為該知識點的預測掌握程度。

4.一種基于數據驅動的知識點掌握狀態的預測方法，其特征在于：包括測試題目的生成和屬性標注步驟、訓練數據采集步驟、基于測試數據的多維度特征提取步驟、數據驅動的預測模型建立步驟，其中：

測試題目的生成和屬性標注步驟：根據課程標準按照所屬學科及知識點之間的父子關系進行整理，對每個學科形成N層知識點結構；同時，根據學習者進行相應學科的認知活動能力和心理調節能力，將學科能力進行分級；根據所述的N層知識點結構和學科能力分級，生成所需測試題目；對于所述生成的所有測試題目，進行水平等級劃分，將測試題目劃分為多個等級；對于需測試題目的每個第N層知識點，也就是每個最底層知識點，生成的測試題目數量需滿足最少題目要求；

訓練數據采集步驟：基于測試題目的生成和屬性標注步驟生成的測試題目，組織學習者進行測試，測試可以采用線上系統電子化測試或者線下試卷測試；學習者應涵蓋同一年齡各層次水平的人群；測試過程應在獨立且無干擾的條件下進行；訓練數據可以分多次、不同時段進行收集，但是不可以在同一學習者上進行反復測試；同時，如果單一學習者的訓練數據不完整或者有明顯抄襲、重復答案特征，應該從訓練數據集中移除，最終得到有效的訓練數據；

基于訓練數據的多維度特征提取步驟：對訓練數據采集步驟得到的每位學習者的數據，首先進行基本特征的逐級特征提取，對測試所涉及的每個第N層知識點，分別計算得分率，所有得分率作為第N層知識點基本特征向量V_N；對于每個第N-1層知識點，如果其下轄的所有第N層知識點均有得分率，則稱為已知知識點，計算已知知識點所下轄的所有知識點的平均得分率作為該N-1層知識點的基本特征值；如果該N-1層知識點下轄知識點的得分率部分缺失或者全部缺失，則該第N-1層知識點稱為未知知識點；未知知識點的基本特征值為空；對所有第N-1層已知知識點，得到其基本特征向量V_N-1；同理，能夠得到各層已知知識點的基本特征向量V_N-2,V_N-3,…,V₁；同時，將學習者的性別、年齡個人特征作為補充特征向量G，從而完成測試數據的多維度特征提取，多維度特征包括各層已知知識點的基本特征向量V_N-2,V_N-3,…,V₁和補充特征向量G；標注訓練數據中已知知識點掌握程度Y_A，標注根據各項得分率結合經驗規則進行，標注的知識點掌握程度可以分為多個等級；

數據驅動的預測模型建立步驟：根據各層已知知識點的基本特征向量V_N-2,V_N-3,…,V₁及補充特征向量G，建立多元分類算法的單一預測模型，預測出知識點A的掌握程度Y_A。所述單一預測模型是指基于單個預測模型，包括人工神經網絡、隨機森林或邏輯回歸的經典模型；先對各個預測模型進行準確度評估，根據評估結果，最終決定其中一種模型作為預測模型。