[發明專利]一種基于大數據的外語教學輔助方法及裝置

有效

• 申請號: 202210819287.5
• 申請日: 2022-07-13
• 公開（公告）號: CN114898449B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 任雪花;楊政;李游
• 申請（專利權）人: 電子科技大學成都學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/774;G06V10/74;G06Q50/20;G06N3/04;G06N3/08
• 代理公司: 北京馳納南熙知識產權代理有限公司 11999
• 代理人: 李佳佳

1.一種基于大數據的外語教學輔助方法，其特征在于：包括以下步驟：

實時采集外語教學下學員面部圖像,并對采集的學員面部圖像進行同化處理；對所述采集的學員面部圖像進行同化處理包括：

設置采集時間窗口T并設定采集時間t；

設置相似度閾值D，計算采集時間窗口T內t_i時刻獲取的學員面部圖像與t_i+1時刻獲取的學員面部圖像之間的相似度D（t_i～t_i+1）；

根據相似度閾值D判斷每個采集時間t下獲取的學員面部圖像是否刪除或保留；所述根據相似度閾值D判斷每個采集時間t下獲取的學員面部圖像是否刪除或保留包括：若D（t_i～t_i+1）小于D，則保留t_i時刻和t_i+1時刻獲取的學員面部圖像；若D（t_i～t_i+1）大于D，則計算t_i+1時刻獲取的學員面部圖像與t_i+2時刻獲取的學員面部圖像之間的相似度D（t_i+1～t_i+2），若D（t_i+1～t_i+2）小于D，則刪除t_i時刻獲取的學員面部圖像；若D（t_i+1～t_i+2）大于D，則刪除t_i+1時刻獲取的學員面部圖像；

對采集時間窗口T內所剩余的學員圖像進行預處理，以滿足卷積神經網絡的輸入條件；

以同化處理后的學員面部圖像做為卷積神經網絡的輸入源，通過卷積神經網絡對學員進行情緒識別；

通過大數據對外語教學方式進行分類并匯總，生成外語教學數據庫；

根據學員的情緒識別結果，對教師進行提醒，并在外語教學數據庫內為教師匹配教學方式；

在所述實時采集外語教學下學員面部圖像,并對采集的學員面部圖像進行同化處理之前，還包括：

通過TFLearn構建卷積神經網絡；所述卷積神經網絡包括：

輸入層，用于訓練數據的輸入，并為隱含層提供訓練數據；通過sigmoid函數對輸出層的輸入進行映射，映射至情緒權值區間，以得到預測的情緒權值，所述輸出層公式為：，其中Output和input分別為輸出層的輸出與輸入，maxW和minW分別為情緒權值的上限和下限；

隱含層，用于對輸入數據進行特征提取；所述隱含層包括多層卷積層和多層池化層，多層所述卷積層與多層所述池化層間隔設置，且所述卷積層設置于所述池化層之前；所述卷積層用于進行卷積運算，并提取圖片特征；所述池化層用于進行聚合統計，并對圖片特征進行映射，所述隱含層還包括dropout層和全連接層，所述dropout層設置于所述池化層之后，所述全連接層設置于所述dropout層之后，所述全連接層設置有兩層；

輸出層，用于對結果的輸出，并根據訓練數據分類標簽的維度調整神經元個數；

通過大數據獲取人臉表情圖像并篩選，生成訓練數據集，以作為卷積神經網絡的訓練輸入源；

對生成的訓練數據集進行預處理，以提高對卷積神經網絡的訓練準確度；

對預處理后的訓練數據集進行手工標注，標定情緒權值；通過隨機梯度下降法進行卷積神經網絡中情緒權值的訓練，以加快卷積神經網絡的訓練速度，隨機梯度下降法對應的情緒權值更新公式為：，其中，為情緒權值，為學習速度參數，為梯度。

2.根據權利要求1所述的基于大數據的外語教學輔助方法，其特征在于：對生成的訓練數據集進行預處理中包括：

對圖像中人臉區域進行識別并提取人臉區域；

對提取人臉區域后的圖像進行圖片縮放；

將縮放后的模糊圖片進行去除，以提升訓練數據集的整體圖像清晰度；

在模糊圖片去除后，對數據集中剩余圖片添加高斯噪聲。

3.根據權利要求2所述的基于大數據的外語教學輔助方法，其特征在于：將縮放后的模糊圖片進行去除包括：

通過拉普拉斯梯度函數衡量圖片中連續像素之間的變化快慢，并設置定值Pr；

若圖片的拉普拉斯算子方差小于Pr，則該圖片為低清晰度圖片，進行去除；

若圖片的拉普拉斯算子方差大于Pr，則該圖片為高清晰度圖片，進行保留。