[發明專利]基于深度強化學習的個性化學習系統及方法

在審

• 申請號: 202110574396.0
• 申請日: 2021-05-25
• 公開（公告）號: CN113190761A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 袁琳琳;代亮亮;陳春艷
• 申請（專利權）人: 貴州廣播電視大學（貴州職業技術學院）;貴州微育科技有限公司;貴州云科教服務有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06K9/62;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 廣東有知貓知識產權代理有限公司 44681
• 代理人: 李志海

1.基于深度強化學習的個性化學習系統，包括個性化學習終端、個性化數據分析處理端以及個性化學習服務端，其特征在于，所述個性化學習終端還包括電子教材交互模塊、作業與考試模塊、個人學習檔案管理模塊、疑難問題互動交流模塊與資源查詢模塊，所述個性化數據分析處理端包括個性化學情數據預處理模塊、學習內容個性化推薦模塊和學習結果智能測評模型構建模塊。

2.根據權利要求1所述的基于深度強化學習的個性化學習系統，其特征在于，所述個性化學習終端通過構建好的資源推薦模型根據學習者的動態訪問交互日志為學習者推送與之能力相匹配的學習資源，所述個性化學習終端還通過學習結果智能測評模型根據學習者的學情數據智能診斷反饋學習者的課程完成情況與知識的薄弱，所述個性化學習終端還覆蓋多個學習活動場景。

3.根據權利要求1所述的基于深度強化學習的個性化學習系統及方法，其特征在于，所述電子教材交互模塊用于學習者對電子教材的綁定、下載、保存和對教材的學習交互記錄，所述作業與考試模塊用于課后作業的參與完成、批閱和展示的整套課后作業交互流程，所述資源查詢模塊包括學習資源庫。

4.根據權利要求1所述的基于深度強化學習的個性化學習系統及方法，其特征在于，所述個性化學習終端通過融合多個學習活動場景產生的交互數據，提取學習者的個性化學習數據，采用深度強化學習算法對個性化學習進行內容推薦建模、且對學習結果進行個性化評價分析。

5.基于深度強化學習的個性化學習方法，使用上述權利要求1-4種任意一項，其特征在于，包括以下步驟：

1)、個性化學習終端采集學情數據，學情數據包含靜態學情數據和動態學情數據；

2)、學習者使用個性化學習終端的賬號登錄終端，獲取學習資源，并綁定課程，跟進課程的開設進度參與學習、參與課程疑難問題答疑，并完成相關作業及考試測驗；

3)、學習者在學習終端進行各種學習活動，通過學習播放課程視頻、點擊資源等實現與平臺的個性化資源內容推薦系統的多輪交互，在該過程中推薦系統能夠感知用戶的實時行為，從而更加理解學習者的偏好和需求；

4)、個性化分析模型處理端將靜態學情數據進行處理，提取離線的個性化特征數據；

5)、個性化分析模型處理端對動態學情數據進行處理，提取實時的個性化特征數據。實時的個性化特征數據包含學習者對學習資源的交互行為及學習任務的完成結果情況；

6)、個性化模型分析處理端，提取完學習者用戶的離線特征，包含用戶過去的歷史反饋數據和實時特征，基于離線特征和實時特征采用深度強化學習構建個性化的學習內容分層推薦模型。

6.根據權利要求1所述的基于深度強化學習的個性化學習方法，其特征在于，所述步驟1)中靜態學情數據的采集包括以下方式：

A1、學習者在學生終端注冊賬號，填寫檔案信息，這些數據可在注冊賬號時以基本信息登記的形式采集，這些信息可通過學習者在學習終端的用戶中心修改而更新；

A2、學習者通過賬號在過去一個星期、一個月訪問參與選定的課程視頻學習、加入過的最新的相關課程，包含課程視頻的直播和錄播回放。對學習者在過去一個星期、一個月的學習行為數據進行采集存儲，過去一個星期、一個月的學習行為數據如訪問課程次數、有訪問課程行為的天數、已完成的章節數、相關作業、測驗考試考評情況等數據；

A3、學習者在過去一個星期、一個月對學習資源的歷史查詢和瀏覽行為數據。

7.根據權利要求1所述的基于深度強化學習的個性化學習方法，其特征在于，所述步驟1)中動態學情數據的采集包括以下內容：

B1、采集學習者在課程學習參與中與教師互動的活躍度；

B2、采集學習者對學習資源內容搜索的關鍵字，及對搜索結果資源的點擊、在線對學習資源的交互情況。

B3、動態學情數據實時采集上傳到個性化學習模型處理分析端，進行分析預處理，實時計算學習者個性化的動態交互特征。

8.根據權利要求1所述的基于深度強化學習的個性化學習方法，其特征在于，所述步驟4)中離線的個性化特征數據包括離線的特征數據包含學習者的性別、年齡、學歷、愛好等，并將類別特征變量轉換為虛擬數字變量。