[發明專利]基于音視頻的學生心理狀態分析方法、裝置、終端及介質

有效

• 申請號: 202010695698.9
• 申請日: 2020-07-20
• 公開（公告）號: CN111738210B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 曾起
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;A61B5/16;G10L25/63;G06N3/04
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 何春蘭;遲珊珊

1.一種基于音視頻的學生心理狀態分析方法，其特征在于，所述基于音視頻的學生心理狀態分析方法包括：

獲取開源情感表情數據集和私有情感表情數據集并基于所述開源情感表情數據集和所述私有情感表情數據集進行遷移學習訓練學生情感表情識別模型；

接收預設視頻采集設備采集的學生全景視頻并對所述學生全景視頻進行畸變校正及網格映射得到每位學生的學生目標視頻；

輸入所述每位學生的學生目標視頻至所述學生情感表情識別模型中進行識別得到每位學生的激活度和愉悅度；

根據所述每位學生的學生目標視頻計算每位學生的活躍度；

接收預設音頻采集設備采集的每位學生的音頻并根據所述每位學生的音頻計算每位學生的負面情緒；

根據所述激活度、愉悅度、活躍度及負面情緒分析每位學生的心理狀態。

2.如權利要求1所述的基于音視頻的學生心理狀態分析方法，其特征在于，所述基于所述開源情感表情數據集和所述私有情感表情數據集進行遷移學習訓練學生情感表情識別模型包括：

利用遷移主成分分析算法對所述開源情感表情數據集進行降維處理得到目標開源情感表情數據集及對所述私有情感表情數據集進行降維處理得到目標私有情感表情數據集；

基于所述目標開源情感表情數據集訓練CNN神經網絡得到基礎情感表情識別模型；

根據Arousal-Valence連續情感緯度模型對所述目標私有情感表情數據集進行標注，并基于標注后的目標私有情感表情數據集遷移學習所述基礎情感表情識別模型得到學生情感表情識別模型。

3.如權利要求2所述的基于音視頻的學生心理狀態分析方法，其特征在于，所述對所述學生全景視頻進行畸變校正及網格映射得到每位學生的學生目標視頻包括：

采用視頻動態畸變校正算法對所述學生全景視頻進行畸變校正得到標準學生全景視頻；

對所述標準學生全景視頻進行分幀處理得到多張學生全景圖像；

根據學生座位位置ID背景圖像對每張學生全景圖像進行網絡映射得到學生ID全景圖像；

分割出每張學生ID全景圖像中的每一個學生ID對應的目標學生圖像；

按照時間順序將同一個學生ID對應的所有目標學生圖像拼接為學生目標視頻。

4.如權利要求2所述的基于音視頻的學生心理狀態分析方法，其特征在于，所述根據所述每位學生的學生目標視頻計算每位學生的活躍度包括：

獲取所述每位學生的學生目標視頻中的拍攝時間；

根據上下課時間表確定所述拍攝時間中的下課時間；

從所述學生目標視頻中提取出所述下課時間對應的學生視頻段；

檢測所述學生視頻段中學生出現的時長并計算總時長，作為第一活躍度；

調用動作類型識別模型識別所述每位學生的學生目標視頻中的多個動作類型，并根據預設動作類型與活躍度之間的映射關系確定每個動作類型對應的活躍度；

計算所有動作類型對應的活躍度的平均活躍度，作為第二活躍度；

根據所述第一活躍度及所述第二活躍度計算每位學生的活躍度。

5.如權利要求2至4中任意一項所述的基于音視頻的學生心理狀態分析方法，其特征在于，所述根據所述每位學生的音頻計算每位學生的負面情緒包括：

調用語音識別算法將所述音頻轉換為文本并對所述文本進行分詞得到多個詞語；

對所述多個詞語與預設關鍵詞庫進行匹配；

將從所述預設關鍵詞庫中匹配出的與所述多個詞語中的任意一個詞語相同的關鍵詞作為目標關鍵詞，并基于匹配出的目標構建詞構建目標關鍵詞向量；

提取所述音頻中的多個聲學特征，并將所述每個聲學特征與對應的聲學特征閾值進行比較；

將大于所述聲學特征閾值的聲紋特征作為目標聲學特征，并基于所述目標聲學特征構建聲學特征向量；

將所述目標關鍵詞向量和所述聲學特征向量作為學生的負面情緒向量。