[發明專利]一種基于Attention深度學習模型的學生輟課預測方法

有效

• 申請號: 202010133647.7
• 申請日: 2020-03-02
• 公開（公告）號: CN111291940B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 常亮;張艷;劉鐵園;古天龍
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/20;G06N3/04;G06N3/08
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

1.一種基于Attention深度學習模型的學生輟課預測方法，其特征在于，包括：

獲取原始在線學習行為相關數據的數據集進行篩選和預處理；

對篩選和預處理后的行為記錄進行編碼和時間窗口化分處理，生成多個時間片行為向量矩陣；

基于CNN網絡改進的卷積層對多個所述時間片行為向量矩陣進行處理得到多個具有局部關聯關系的特征向量矩陣；

基于BI-GRU模型對多個所述具有局部關聯關系的特征向量矩陣進行時序特性的特征提取，生成多個具有時間序列關系的行為特征向量矩陣；

基于Attention機制自適應地對各時刻隱層特征賦予不同的權值，將不同時刻的隱層狀態與權重進行加權求和，生成行為特征表示向量；

具體方式為：通過Attention層，計算不同時刻隱層狀態對于模型預測的影響權重；

將BI-GRU模型不同時刻隱層狀態的特征向量和影響權重，進行加權求和得到行為特征最終的表示向量；

通過注意力機制對各時刻隱層特征賦予不同的權值，最后將不同時刻的隱層狀態與權重進行加權求和，獲得行為特征最終的表示向量；

將BI-GRU模型中，得到多個時刻的行為向量序列H_i，且i＝{1,2,…,n}，作為Attention層的輸入，通過將行為向量乘以權重加上偏置項,再通過tanh激活后利用softmax歸一化輸出影響權重，n時刻下BI-GRU的隱層狀態Hn對于最終狀態的影響權重a_n，計算公式如下：

u_n＝tanh(wH_n+b)；

N表示v1,v2,....,vn輸入數據的個數n，R表示BI-GRU模型的最終狀態，是通過BI-GRU中正向和反向的最終隱藏層狀態值拼接的得到的，a為各個時刻下隱層狀態對于最終狀態的注意力概率分布，a的各個分量an表示n時刻下BI-GRU的狀態Hn對于最終狀態的概率分布，Hn由n時刻，正向和反向狀態拼接得到；w為權重矩陣,u_n是經過激活函數的一個向量；

通過得到影響權重后，將BI-GRU層提取到的各個時刻的特征行為向量加權求和,得到基于注意力分布的學生歷史行為特征的最終表示向量H，計算公式如下：

N表示輸入元素的個數，Hn表示n時刻下正向狀態hn和反向狀態h1的拼接，an表示n時刻下BI-GRU的狀態Hn對于最終狀態的概率分布；

將特征向量H輸入到全連接層，通過sigmoid函數得到最終學生是否會在未來10天輟課的概率y′，計算公式如下：

H表示Attention層的輸出的最終行為特征表示向量，Q是權重矩陣，b是偏置，分類層的輸出y'表示輟課概率，且y'∈[0,1]；

訓練模型的損失函數使用負對數似然均值，計算公式如下：

其中，N表示訓練實例的個數，y′_i表示第i個實例的輟課概率，且y′_i∈[0,1]；L表示損失值，且L∈R；

根據得到的損失值，采用梯度下降的方法優化模型，進行參數調整，得到經過優化的深度網絡，經過多次操作，得到多個損失值，當損失值趨收斂時結束操作，將此模型作為最終的預測模型；卷積層，BI-GRU層中的所有參數都是通過反向傳播的算法進行訓練并更新，損失函數的優化運用隨機梯度下降法；

將所述行為特征表示向量輸入分類層，通過Sigmoid函數進行預測，得到預測結果。

2.如權利要求1所述的基于Attention深度學習模型的學生輟課預測方法，其特征在于，獲取原始在線學習行為相關數據的數據集進行篩選和預處理，具體包括：

獲取原始在線學習行為相關數據的數據集；

將所述數據集進行篩選，選擇enrollment_id、time、source、event、course_id五個屬性形成一個實例新的行為記錄；

重新劃分訓練集和測試集。