[發明專利]一種基于深度強化學習的群體教學推薦系統

有效

• 申請號: 202210028554.7
• 申請日: 2022-01-11
• 公開（公告）號: CN114595923B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 楊騰杰;左琳;陳柯弟;劉念伯
• 申請（專利權）人: 電子科技大學
• 主分類號: G06Q10/067
• 分類號: G06Q10/067;G06Q50/20;G09B5/08;G06N3/047;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.一種基于深度強化學習的群體教學推薦系統，其特征在于，包括：用戶終端、知識點管理模塊，學生數據管理模塊，學生模型模塊，預訓練模塊和群體教學推薦模塊；

所述用戶終端用于教師或學生登錄系統，為用戶與系統的交互輸入和輸出終端；

所述知識點管理模塊用于教師用戶錄入知識點數據，并將知識點數據發送至學生模型模塊和預訓練模塊群體教學推薦模塊；

所述學生數據管理模塊用于學生用戶錄入學生基礎數據，并將學生基礎數據發送至學生模型模塊；以及用于在課堂中采集學生課堂反饋并發送給群體教學推薦模塊；

所述學生模型模塊根據預置的創建策略，基于當前錄入的知識點數據和學生基礎數據創建學生模型并發送至預訓練模塊；

所述預訓練模塊以學生模型模塊創建的學生模型為學習主體，以知識點管理模塊和學生數據管理模塊發送的數據為訓練數據，對預置的初始群體推薦模型進行訓練，得到訓練好的群體推薦模型；所述初始群體推薦模型包括第一神經網絡模型和第二神經網絡模型，所述第一和第二神經網絡模型包括輸入層、至少一層隱藏層和輸出層，其中，輸入層為學生課堂反饋數據序列，隱藏層為能夠處理序列輸入的神經網絡，第一神經網絡模型的輸出層用于輸出當前課程的各知識點的推薦度；第二神經網絡模型的輸出層用于輸出當前課堂教學的評價值；

所述群體教學推薦模塊調用預訓練模塊訓練好的群體推薦模型，在課程教學過程中結合課程的每一堂課的學生課堂反饋輸出教學推薦信息并發送給對應的教師用戶；以及保存生數據管理模塊采集的學生課堂反饋；在課程教學過程中按照配置的模型更新周期，基于當前周期保存的學生課堂反饋對群體推薦模型進行更新訓練；

輸出教學推薦信息包括下一堂課的推薦知識點和當前學生課堂反饋數據序列的評價值，其中下一堂課的推薦知識點為推薦度最大的知識點。

2.如權利要求1所述的群體教學推薦系統，其特征在于，所述知識點數據包括：知識點ID，所屬課程名稱，知識點名稱，知識點簡介，知識點內容，知識點難度系數，該知識點的前置知識點ID，該知識點配套的課堂測試題目，以及知識點相關資料。

3.如權利要求1所述的群體教學推薦系統，其特征在于，所述學生基礎數據包括：學生的學號，姓名，年齡，性別，年紀和學生類型；所述學生課堂反饋包括的數據有：測試題目名稱，所屬知識點ID，測試題目內容，參與測試學生ID和學生測試結果。

4.如權利要求1所述的群體教學推薦系統，其特征在于，所述學生模型模塊使用學生模型模擬真實學生參與預訓練模塊中的群體推薦模型訓練過程，所述學生模型的構建模型為艾賓浩斯記憶模型，半衰期記憶模型或貝葉斯知識追蹤模型；

且所述模型的描述包括：

描述虛擬學生當前對于每個知識點的掌握狀態；

描述虛擬學生如何通過學習從一個狀態轉變為另一個狀態的過程；

描述學習后的課堂反饋。

5.如權利要求1所述的群體教學推薦系統，其特征在于，所述預訓練模塊對所述初始群體推薦模型的訓練包括：

以學生模型模塊創建的學生模型作為虛擬學生組成一個班級參與訓練；

設定課程要求信息，以及初始所述初始群體推薦模型的網絡參數；

以全班的虛擬學生作為環境，初始群體推薦模型的第一神經網絡模型和第二神經網絡模型作為智能體，采用近端策略優化算法對智能體進行訓練，當滿足預設的訓練結束條件時，保存當前的網絡參數，得到訓練好的群體推薦模型。

6.如權利要求5所述的群體教學推薦系統，其特征在于，所述課程要求信息包括：課時數，以及課程結束時需要達到的及格率，優秀率和平均分。