[發(fā)明專利]基于圖神經(jīng)網(wǎng)絡的深度知識追蹤預訓練方法

在審

• 申請?zhí)枺?/td>: 202110557176.7
• 申請日: 2021-05-21
• 公開（公告）號: CN113282723A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設計）人: 俞勇;張偉楠;劉云飛
• 申請（專利權）人: 上海伯禹信息科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/36;G06N3/04;G06N3/08
• 代理公司: 上海旭誠知識產(chǎn)權代理有限公司 31220
• 代理人: 鄭立

一種基于圖神經(jīng)網(wǎng)絡知識追蹤預訓練方法，提升已有的深度知識追蹤方法的準確度，涉及智能教育方法探索領域。通過構建問題和知識點關系的二分圖，并提取出問題和知識點的對應關系、問題相似性和知識點相似性，部署圖神經(jīng)網(wǎng)絡來獲取低維向量表征，同時考慮問題的多種特征，例如問題難度，使用乘法神經(jīng)網(wǎng)絡來學習多領域特征的交互，最終得到問題低維表征。該表征融合了豐富的問題和知識點關系，以及問題的難度等特征，可以作為已有的深度知識追蹤方法的輸入。本發(fā)明知識追蹤預訓練方法可以與任意的深度知識追蹤方法結合使用，實踐證明，本發(fā)明可以大大提高目前已有深度知識追蹤方法的準確度，同時獲得更加具有解釋性的問題低維表征。

技術領域

本發(fā)明涉及智能教育領域中的知識追蹤任務，尤其是一種基于圖神經(jīng)網(wǎng)絡的知識追蹤預訓練方法。

背景技術

知識追蹤，是指利用學生的歷史學習數(shù)據(jù)以及學習內(nèi)容的特征，建立評估函數(shù)，來預測學生之后答對每個問題的平均概率。通常來講，現(xiàn)在的智能教育系統(tǒng)會記錄很多學生的學習數(shù)據(jù)，學生會通過做題以及看網(wǎng)課等形式來學習某個知識點。針對每個知識點，智能教育系統(tǒng)會設計很多道對應的題目，來幫助學生掌握知識點。知識追蹤就是利用已有的學生歷史答題序列，來跟蹤學生對教學內(nèi)容的學習規(guī)律，進一步預測學生對相關問題的平均答對概率。知識追蹤可以幫助老師了解教學內(nèi)容的特點以及學生學習規(guī)律，進而設計更加合理的教學安排。

(一)分析近期關于知識追蹤的專利技術：

1、申請?zhí)枮?01911250785.7的中國發(fā)明專利申請《基于圖卷積的知識追蹤數(shù)據(jù)處理方法、系統(tǒng)和存儲介質(zhì)》提出了一種使用卷積神經(jīng)網(wǎng)絡對學生學習序列建模的方法，該方法針只針對知識點，忽視了每個知識點下問題的差異性，也忽視了問題與知識點的關系；

2、申請?zhí)枮?01911115390.6的中國發(fā)明專利申請《基于層次記憶網(wǎng)絡的知識追蹤系統(tǒng)及方法》，基于層次記憶網(wǎng)絡的知識追蹤系統(tǒng)，模擬人類長期記憶和短期記憶的模式，建立深度網(wǎng)絡，對輸入的知識信息進行分類衰減存儲。同樣的，該方法忽視了知識點包含的不同問題的差異性，也忽視了問題和知識點的關系。

(二)分析近期基于深度學習的知識追蹤方法的研究：

Piech等在Advances In Neural Information Processing Systems(神經(jīng)信息處理系統(tǒng)會議)會議(2015年第28屆第505-513頁)上發(fā)表的Deep Knowledge Tracing.《深度知識追蹤》，該文中首次使用深度神經(jīng)網(wǎng)絡解決知識追蹤任務，使用循環(huán)神經(jīng)網(wǎng)絡對來捕捉學生歷史答題序列的序列依賴關系。其不足在于：該方法只分析了知識點的學習規(guī)律。忽視了同一個知識點下不同問題的差異性，以及不適用于知識點數(shù)目大，但學生與知識點的交互很稀疏的場景。

Zhang Jiani等在Proceeding of International Conference on World WideWeb(萬維網(wǎng)國際會議)會議(2017年第26屆)上發(fā)表的Dynamic key-value memory networkfor knowledge tracing.《動態(tài)鍵值存儲網(wǎng)絡用于知識跟蹤》，該文使用不同的記憶槽記錄不同知識點的掌握狀態(tài)，并基于注意力機制自動學習問題和知識點的關系。其不足在于問題和知識點的關系是容易從真是場景中獲取的，基于注意力機制學習該關系會有一定的偏差。同時，該方法忽視了知識點的相似性和問題的相似性。

對國內(nèi)外相關專利分析以及相關研究可得出以下結論：目前深度知識追蹤方法都直接關注知識點的學習規(guī)律。但實際上，每個知識點又包含了不同的問題，對知識點直接建模會忽視這些問題的獨特信息，損害方法的準確度。同時由于問題數(shù)目往往遠大與知識點的數(shù)目，且問題的交互更加稀疏(通常一個學生不會多次重復做同一個問題，但會多次學習同一個知識點)。這使得目前的深度知識追蹤方法難以直接應用到問題層面的預測。