[發明專利]一種學習專注力檢測方法、計算機設備及可讀介質

在審

• 申請號: 202111361398.8
• 申請日: 2021-11-17
• 公開（公告）號: CN114120456A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 劉婷婷;楊兵;劉海;張昭理;安慶;黃正華;陳勝勇;李友福
• 申請（專利權）人: 湖北大學;華中師范大學
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 王聰聰

1.一種學習專注力檢測方法，其特征在于，包括：

獲取待檢測對象的聲紋信號及頭部姿態圖像；

將所述聲紋信號及頭部姿態圖像輸入訓練好的多模態融合模型中，提取待檢測對象當前的聲紋情緒特征以及頭部姿態特征；

其中，所述多模態融合模型中包括第一網絡模型和第二網絡模型；所述第一網絡模型為利用具有情緒標簽的至少一個音頻樣本訓練得到，所述第二網絡模型為利用具有頭部姿態標簽的至少一個頭部姿態圖像樣本訓練得到；

多模態融合模型將第一網絡模型輸出的聲紋情緒特征及第二網絡模型輸出的頭部姿態特征進行融合并分類，得到待檢測對象當前的聲紋情緒狀態和頭部姿態角度；

基于所述聲紋情緒狀態和頭部姿態角度生成待檢測對象當前的專注力檢測結果。

2.如權利要求1所述的學習專注力檢測方法，其特征在于，所述基于所述聲紋情緒狀態和頭部姿態角度生成待檢測對象當前的專注力檢測結果，包括：

將所述聲紋情緒狀態和頭部姿態角度輸入到學習專注力檢測模型中，根據所述頭部姿態角度以及預設的學習空間計算待檢測對象當前的專注力狀態；

聯合所述聲紋情緒狀態和專注力狀態，得到待檢測對象當前的專注力檢測結果。

3.如權利要求1或2所述的學習專注力檢測方法，其特征在于，所述第一網絡模型的訓練過程包括：

獲取具有第一情緒標簽的第一音頻樣本作為錨定樣本，具有所述第一情緒標簽的第二音頻樣本作為積極樣本，以及具有第二情緒標簽的第一音頻樣本作為消極樣本；其中，所述第二情緒標簽不同于第一情緒標簽，第二音頻樣本與第一音頻樣本屬于不同的對象；

將所述錨定樣本、積極樣本和消極樣本輸入第一網絡模型中，通過待訓練的第一網絡模型分別生成錨定樣本、積極樣本和消極樣本對應的情緒特征向量；

根據錨定樣本、積極樣本和消極樣本對應的情緒特征向量計算第一三重損失函數，反向調整所述待訓練的第一網絡模型的模型參數，直至所述第一三重損失函數最小化，得到訓練好的第一網絡模型。

4.如權利要求3所述的學習專注力檢測方法，其特征在于，所述根據錨定樣本、積極樣本和消極樣本對應的情緒特征向量計算第一三重損失函數，具體為：

計算錨定樣本與積極樣本的情緒特征向量之間的第一相似度，以及錨定樣本與消極樣本的情緒特征向量之間的第二相似度；

根據所述第一相似度與第二相似度之間的差值計算第一三重損失函數，所述第一三重損失函數表示如下：

其中，表示第一網絡模型提取的錨定樣本的情緒特征向量，表示積極樣本的情緒特征向量，表示消極樣本的情緒特征向量；

表示第一相似度，表示第二相似度，α是網絡優化過程中設置的第一距離閾值；i表示訓練次數。

5.如權利要求1或2所述的學習專注力檢測方法，其特征在于，所述第二網絡模型的訓練過程包括：

獲取具有第一頭部姿態標簽的第一頭部姿態圖像樣本作為錨定樣本，具有所述第一頭部姿態標簽的第二頭部姿態圖像樣本作為積極樣本，以及具有第二頭部姿態標簽的第一頭部姿態圖像樣本作為消極樣本；其中，所述第二頭部姿態圖像標簽不同于第一頭部姿態標簽，所述第二頭部姿態圖像樣本與第一頭部姿態圖像樣本屬于不同的對象；

將所述錨定樣本、積極樣本和消極樣本輸入第二網絡模型中，通過待訓練的第二網絡模型分別生成錨定樣本、積極樣本和消極樣本對應的頭部姿態特征向量；

根據錨定樣本、積極樣本和消極樣本對應的頭部姿態特征向量計算第二三重損失函數，反向調整所述待訓練的第二網絡模型的模型參數，直至所述第二三重損失函數最小化，得到訓練好的第二網絡模型。