[發明專利]一種基于自注意和預訓練機制的智能教學方法及系統

在審

• 申請號: 202110713930.1
• 申請日: 2021-06-25
• 公開（公告）號: CN113360635A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 凌強;賴澤鋒
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

本發明涉及一種基于自注意和預訓練機制的智能教學方法及系統，其方法包括：S1：創建題庫和學生信息，導入已有的學習記錄；S2：根據題庫中的試題、知識點關聯性，以及試題被作答的整體情況，預先訓練出試題的特征向量以及嵌入矩陣；S3：根據試題的特征向量、嵌入矩陣以及學習記錄，利用兩級自注意機制，對學生學習的狀態進行跟蹤，預測學生的作答結果；S4：根據預測學生的作答結果，結合題庫中的試題的知識點，選擇合適的試題集推薦給學生。本發明通過兩級自注意力機制的上下文感知的追蹤模型，以捕捉當前時刻的輸入信息與用戶的歷史行為序列的關聯，使得知識追蹤更加關注學習的上下文場景，更加準確預測學生作答，并推薦合適的試題給學生。

技術領域

本發明涉及智能教輔系統和知識追蹤領域，具體涉及一種基于自注意和預訓練機制的智能教學方法及系統。

背景技術

當今時代，學生的課業和課外壓力越來越重。為了讓學生能夠更加高效地完成學習任務，減輕學習負擔，智能教輔系統(ITS)應運而生。智能交付系統能夠個性化、智能化地安排學生的學習，提高學生學習效率。在智能教輔系統中，學生擁有自主學習的權力。系統將根據學生的個人需要，以及學生對知識點掌握水平的追蹤，提供不同的學習材料。系統的個性化學習安排是基于對學生的知識點掌握水平的準確追蹤上的，因此知識追蹤任務是系統的重中之重。學生學習的材料，與基礎的知識點單元有重要的關聯。根據每個學習材料的知識點試題內容，以及學生對不同學習材料的作答表現，可以追蹤學生對相關聯知識點的掌握情況。一個合適的模型將有助于精準的知識追蹤。在學生模型的幫助下，智能教輔系統可以準確地跟蹤學生的掌握水平，從而更加合理的規劃未來的學習策略。被預測的掌握水平較低的知識點將被復習，被預測的掌握水平較高的知識點將被推遲復習，為新的學習材料預留時間。

早期的學習策略是基于人工設定的方法。其中，間隔效應和測試效應自19世紀被發現以來被廣泛復制。間隔效應表明，在時間上分配學習片段比在一次性的學習更有利于長期記憶。測試效應則表示，學習后的自測比單純的復習更有效。但是兩者都只是基于人工設定的規則，沒有學生作答結果的反饋，實際學生的學習表現可能和預期有較大的偏差。

稍后的研究集中在自適應和個性化的學習調度程序的開發，以提高抽認卡的長期記憶保持率。然而，大多數學習策略都是基于簡單的數學模型，不能保證學生以高效率完成學習。如今的社會邁入大數據時代，數據量和計算機計算能力都得到了極大的提升。數據驅動型的算法，如知識追蹤模型將更加適合這一需求。

知識追蹤(KT)是指學生在參與一個或多個知識點學習的系列學習活動時，追蹤學生知識狀態演變的任務。早期的知識追蹤模型是基于實驗和經驗得到的。艾賓浩斯通過記憶一些無意義的單詞，根據不同時間段后回憶起這些單詞的概率，繪制了遺忘曲線。后來，Corbett和Anderson應用貝葉斯知識追蹤的方法(BKT)來評估用戶知識掌握情況的變化。Rasch和Georg提出了將用戶能力和項目難度的概念引入到學生作答的預測中，使得對不同學生的作答預測有了特異性。然而，這些傳統的模型參數量少，難以適應當前數據多，影響因素多的眾多場景，基于深度學習的方法勢在必行。

最早將深度學習引入知識追蹤領域的是深度知識追蹤(Deep KnowledgeTracing,DKT)。DKT采用了RNN網絡，通過RNN的隱狀態追蹤學生學習過程中的狀態變化。學生對每個知識點的作答預測由隱狀態和知識點對應的特征向量的內積運算獲得。動態鍵值記憶網絡(DKVMN)提出了一個鍵矩陣和值矩陣分別表示知識點特征和用戶知識狀態，使模型根據有解釋性。Lee等人適用LSTM追蹤學生的知識狀態進行知識查詢。Pandey和Karypis將transformer引入到知識追蹤中，提出了基于自注意力機制的知識追蹤。在此基礎上，Ghosh等人提出了上下文感知的知識追蹤(AKT)，提出了以兩級自注意力結構來根據上下文信息追蹤學生知識狀態。Ghosh對于自注意機制也作出了適當的改進。然而，即便是當前性能最優的AKT方法也存在著一些可改進的地方：僅采用自注意機制的方法實際上不能很好地追蹤學生知識狀態在時間域上的波動；且更多的試題信息會有助于更加精確的知識追蹤。

發明內容