[發明專利]基于時空注意力網絡的在線學習參與度評估方法及評估系統、設備、存儲介質

有效

• 申請號: 202110497274.6
• 申請日: 2021-05-07
• 公開（公告）號: CN113326739B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 姜新波;秦學英
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/16;G06V10/44;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 趙龍群

1.一種基于時空注意力網絡的在線學習參與度評估方法，其特征在于，該方法包括步驟：

(1)對待評估的在線學習的視頻片段進行預處理；

(2)特征提取：提取經過預處理后視頻片段t*的頭部姿態特征塊G_t和面部表情特征塊E_t；

(3)特征變換：將頭部姿態特征塊G_t分解成頭部姿態特征集合表示在第t個頭部姿態特征塊i位置上從通道1到通道D₁上的值構成的特征，K₁表示頭部姿態特征塊中每個通道的邊長，t∈{1,…,T}，T表示視頻片段的個數；D₁表示頭部姿態特征塊中通道的個數；該頭部姿態特征的維度與頭部姿態特征塊的通道數相同，均為D₁；

同理，將面部表情特征塊E_t分解成面部表情特征集合表示在第t個面部表情特征塊j位置上從通道1到通道D₂上的值構成的特征，K₂表示面部表情特征塊中每個通道的邊長，t∈{1,…,T}；D₂表示面部表情特征塊中通道的個數；該面部表情特征的維度與面部表情特征塊的通道數相同，均為D₂；

(4)將t時刻提取得到的面部表情特征集合頭部姿態特征集合及t-1時刻的隱藏狀態輸入到雙模態空間注意力模塊中，最后雙模態空間注意力模塊的輸出M_t，雙模態空間注意力模塊用于融合表情特征和頭部姿態特征并對特征中不同位置基于注意力模塊進行加權；

(5)將M_t輸入到兩層Bi-LSTM模型，得到隱藏狀態

(6)將隱藏狀態輸入到時間注意力模塊，得到隱藏狀態的權重β_t；

(7)將步驟(6)時間注意力模塊得到的隱藏狀態的權重β_t和步驟(5)得到的隱藏狀態輸入到訓練好的雙向自適應長短期記憶網絡Bi-aLSTM模型中，Bi-aLSTM是在Bi-LSTM模型的基礎上，構建了一個自適應模塊，能夠基于獲取的權重信息，自動調整Bi-LSTM模型的輸入；即Bi-aLSTM模型根據當前時刻的權值β_t調整輸入的隱藏狀態Bi-aLSTM模型輸出隱藏狀態隱藏狀態經過激活函數tanh得到學習參與度評估結果Y_T，Y_T是整數，Y_T取值范圍0到3，從0至3參與度依次增加，0表示完全不參與，1表示低程度的參與，2表示一般程度的參與，3表示高程度的參與。

2.根據權利要求1所述的一種基于時空注意力網絡的在線學習參與度評估方法，其特征在于，Bi-aLSTM模型的訓練過程為：

a、構建數據集，具體包括：

a-1、獲取訓練視頻；

a-2、確定視頻的標注指標，標注指標包括頭部姿態、眼球注視點和面部表情；

a-3、對視頻進行標注；

b、將數據集中的視頻片段進行預處理；

c、特征提取：提取經過預處理后視頻片段t*的頭部姿態特征塊G_t和面部表情特征塊E_t；

d、特征變換：將頭部姿態特征塊G_t分解成頭部姿態特征集合將面部表情特征塊E_t分解成面部表情特征集合

e、將t時刻提取得到的面部表情特征集合頭部姿態特征集合及t-1時刻的隱藏狀態輸入到雙模態空間注意力模塊中，最后雙模態空間注意力模塊的輸出M_t；

f、將M_t輸入到兩層Bi-LSTM模型，得到隱藏狀態

g、將隱藏狀態輸入到時間注意力模塊，得到隱藏狀態的權重β_t；

h、將步驟g時間注意力模塊得到的隱藏狀態的權重β_t和步驟f得到的隱藏狀態輸入到Bi-aLSTM模型中；

i、通過訓練確定Bi-aLSTM模型中細胞狀態C以及隱藏狀態H的維度，以及輸入特征序列的最大長度T。