[發明專利]基于音視頻的學生心理狀態分析方法、裝置、終端及介質

有效

• 申請號: 202010695698.9
• 申請日: 2020-07-20
• 公開（公告）號: CN111738210B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 曾起
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;A61B5/16;G10L25/63;G06N3/04
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 何春蘭;遲珊珊

本發明涉及人工智能技術領域，提供一種基于音視頻的學生心理狀態分析方法、裝置、終端及介質，包括：基于開源情感表情數據集和私有情感表情數據集進行遷移學習訓練學生情感表情識別模型；對學生全景視頻進行畸變校正及網格映射得到每位學生的學生目標視頻；通過學生情感表情識別模型識別學生目標視頻得到激活度和愉悅度；計算學生目標視頻得到活躍度；根據學生的音頻計算負面情緒；根據激活度、愉悅度、活躍度及負面情緒分析學生的心理狀態。本發明可應用于智慧教育中，能夠多模態全面分析學生的心理狀態，準確率高。此外，本發明還涉及區塊鏈技術領域，所述心理狀態可存儲于區塊鏈中。

技術領域

本發明涉及人工智能技術領域，具體涉及一種基于音視頻的學生心理狀態分析方法、裝置、終端及介質。

背景技術

隨著社會的信息化程度不斷提高，學校也越來越重視學生的心理健康問題。在不同的成長環境，學生可能因為精神上的或者生理上的變化產生心理過敏反應，并由此誘發心理疾病。如果不及時發現與治療，將會導致更嚴重的后果。

現有技術中，雖有通過采集每一位學生的視頻來分析學生的表情變化，并基于表情變化來識別學生的心理狀態，然而該技術存在以下缺點：對每位學生采集視頻，費時費力；不同學生的性格不同，有些學生即使已經有心理疾病，但很難從表情上表示出來，導致分析出來的心理狀態的準確率較差，不能真實的代表學生的心理狀態，或者根本無法進行表情分析。

因此，有必要提出一種多模態的學生心理狀態分析方法。

發明內容

鑒于以上內容，有必要提出一種基于音視頻的學生心理狀態分析方法、裝置、終端及介質，能夠多模態全面分析學生的心理狀態，準確率高。

本發明的第一方面提供一種基于音視頻的學生心理狀態分析方法，所述基于音視頻的學生心理狀態分析方法包括：

獲取開源情感表情數據集和私有情感表情數據集并基于所述開源情感表情數據集和所述私有情感表情數據集進行遷移學習訓練學生情感表情識別模型；

接收預設視頻采集設備采集的學生全景視頻并對所述學生全景視頻進行畸變校正及網格映射得到每位學生的學生目標視頻；

輸入所述每位學生的學生目標視頻至所述學生情感表情識別模型中進行識別得到每位學生的激活度和愉悅度；

根據所述每位學生的學生目標視頻計算每位學生的活躍度；

接收預設音頻采集設備采集的每位學生的音頻并根據所述每位學生的音頻計算每位學生的負面情緒；

根據所述激活度、愉悅度、活躍度及負面情緒分析每位學生的心理狀態。

根據本發明的一個可選的實施例，所述基于所述開源情感表情數據集和所述私有情感表情數據集進行遷移學習訓練學生情感表情識別模型包括：

利用遷移主成分分析算法對所述開源情感表情數據集進行降維處理得到目標開源情感表情數據集及對所述私有情感表情數據集進行降維處理得到目標私有情感表情數據集；

基于所述目標開源情感表情數據集訓練CNN神經網絡得到基礎情感表情識別模型；

根據Arousal-Valence連續情感緯度模型對所述目標私有情感表情數據集進行標注，并基于標注后的目標私有情感表情數據集遷移學習所述基礎情感表情識別模型得到學生情感表情識別模型。

根據本發明的一個可選的實施例，所述對所述學生全景視頻進行畸變校正及網格映射得到每位學生的學生目標視頻包括：

采用視頻動態畸變校正算法對所述學生全景視頻進行畸變校正得到標準學生全景視頻；

對所述標準學生全景視頻進行分幀處理得到多張學生全景圖像；