[發明專利]一種學習專注力檢測方法、計算機設備及可讀介質

在審

• 申請號: 202111361398.8
• 申請日: 2021-11-17
• 公開（公告）號: CN114120456A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 劉婷婷;楊兵;劉海;張昭理;安慶;黃正華;陳勝勇;李友福
• 申請（專利權）人: 湖北大學;華中師范大學
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 王聰聰

本申請公開了一種學習專注力檢測方法、計算機設備及可讀介質，該方法包括：獲取待檢測對象的聲紋信號及頭部姿態圖像；將聲紋信號及頭部姿態圖像輸入訓練好的多模態融合模型中，提取待檢測對象當前的聲紋情緒特征以及頭部姿態特征；多模態融合模型包括第一網絡模型和第二網絡模型；多模態融合模型將第一網絡模型輸出的聲紋情緒特征及第二網絡模型輸出的頭部姿態特征進行融合分類，得到待檢測對象當前的聲紋情緒狀態和頭部姿態角度；基于聲紋情緒狀態和頭部姿態角度生成待檢測對象當前的專注力檢測結果；本發明實現聲紋信號與頭部姿態圖像信息的互補，提高多人音頻混疊背景下的學習專注力檢測的準確性，為提高學生在線學習專注力提供客觀支撐數據。

技術領域

本申請涉及智能人機交互技術領域，更具體地，涉及一種融合聲紋和頭部姿態線索的學習專注力檢測方法、計算機設備及可讀介質。

背景技術

隨著教育信息化的高速發展，人工智能技術已經被越來越多地應用于教育教學過程中。近年來，新型冠狀病毒肺炎的爆發打破了傳統的線下教學模式，在線遠程教學的方法一時間被廣泛采用。然而，在沒有教師近距離監督的情況下，如何實現遠程監督或自監督的方式保證學習者獨立學習的學習狀態和學習效率，成為亟待解決的問題。因此，采用一種實時在線學習專注力檢測方法輔助學習者進行在線學習，從而提高學習者在線學習的學習效率具有十分重要的意義。

學習專注力可以從學習者的頭部姿態、聲紋情緒以及肢體動作等方面反映出來，專注力集中時應當是頭部朝向學習設備，聲音情緒中性或積極，肢體動作較少。然而，在學習者在線學習的過程中，會有安靜聽講以及低頭念書等情況，僅依靠單方面的信息捕捉很難準確判斷當前學習者的學習專注力狀態，導致檢測結果的準確率降低。

發明內容

針對現有技術的至少一個缺陷或改進需求，本發明提供了一種融合聲紋和頭部姿態線索的學習專注力檢測方法、計算機設備及可讀介質，可以實現不同模態的信息互補，其目的在于提高復雜背景下的聲紋情緒和頭部姿態識別精準度，從而提高學習專注力判斷精準度。

為實現上述目的，按照本發明的一個方面，提供了一種學習專注力檢測方法，該方法包括：

獲取待檢測對象的聲紋信號及頭部姿態圖像；

將所述聲紋信號及頭部姿態圖像輸入訓練好的多模態融合模型中，提取待檢測對象當前的聲紋情緒特征以及頭部姿態特征；

其中，所述多模態融合模型中包括第一網絡模型和第二網絡模型；所述第一網絡模型為利用具有情緒標簽的至少一個音頻樣本訓練得到，所述第二網絡模型為利用具有頭部姿態標簽的至少一個頭部姿態圖像樣本訓練得到；

多模態融合模型將第一網絡模型輸出的聲紋情緒特征及第二網絡模型輸出的頭部姿態特征進行融合并分類，得到待檢測對象當前的聲紋情緒狀態和頭部姿態角度；

基于所述聲紋情緒狀態和頭部姿態角度生成待檢測對象當前的專注力檢測結果。

優選的，上述學習專注力檢測方法中，所述基于所述聲紋情緒狀態和頭部姿態角度生成待檢測對象當前的專注力檢測結果，包括：

將所述聲紋情緒狀態和頭部姿態角度輸入到學習專注力檢測模型中，根據所述頭部姿態角度以及預設的學習空間計算待檢測對象當前的專注力狀態；

聯合所述聲紋情緒狀態和專注力狀態，得到待檢測對象當前的專注力檢測結果。

優選的，上述學習專注力檢測方法中，所述第一網絡模型的訓練過程包括：

獲取具有第一情緒標簽的第一音頻樣本作為錨定樣本，具有所述第一情緒標簽的第二音頻樣本作為積極樣本，以及具有第二情緒標簽的第一音頻樣本作為消極樣本；其中，所述第二情緒標簽不同于第一情緒標簽，第二音頻樣本與第一音頻樣本屬于不同的對象；