[發(fā)明專利]一種結合HRV信號和面部表情判斷情緒的方法及設備

在審

• 申請?zhí)枺?/td>: 202010520760.0
• 申請日: 2020-06-10
• 公開（公告）號: CN111772648A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設計）人: 彭浩;周長亮
• 申請（專利權）人: 南京七巖電子科技有限公司
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/024;A61B5/00
• 代理公司: 南京蘇創(chuàng)專利代理事務所(普通合伙) 32273
• 代理人: 張艷

1.一種結合HRV信號和面部表情判斷情緒的方法，其特征在于：包括以下步驟：

步驟1：情緒分類；

步驟2：建立HRV信號數據庫：根據不同的情緒分類，分別采集多組若干組HRV信號數據，組成HRV信號數據庫；

步驟3：建立HRV信號的各情緒區(qū)間：確定各情緒的HRV信號數據區(qū)間；

步驟4：建立面部表情數據庫： 根據不同的情緒分類，分別采集若干組面部表情數據，組成面部表情數據庫；

步驟5：建立面部表情的各情緒區(qū)間：確認各情緒的面部表情特征值區(qū)間；

步驟6：采集即時HRV信號數據：采集測試者或使用者的HRV信號數據；

步驟7：比對HRV信號數據：將步驟6采集的HRV信號數據與步驟3中的各情緒區(qū)間的端值比較，確認屬于的情緒區(qū)間；

步驟8：采集即時面部表情數據：采集測試者或使用者的面部表情數據；

步驟9：比對面部表情數據：將步驟8采集的HRV信號數據與步驟5中的各情緒區(qū)間的端值比較，確認屬于的情緒區(qū)間；

步驟10：判斷情緒：比對步驟7和9輸出的情緒，當屬于相同情緒時，確定此情緒為輸出情緒，否則返回步驟6和8，直到步驟7和9輸出的情緒，屬于相同情緒。

2.根據權利要求1所述的結合HRV信號和面部表情判斷情緒的方法，其特征在于：所述步驟1中將情緒分成3類，分別為平靜、負情緒和正情緒。

3.根據權利要求1所述的結合HRV信號和面部表情判斷情緒的方法，其特征在于：所述步驟2中確定采集者處于不同程度的負面情緒下，采集多組HRV數據，確定這些HRV數據的最大值和最小值，形成負面情緒HRV信號數據區(qū)間；

所述步驟2中確定采集者處于不同程度的正面情緒下，采集多組HRV數據，確定這些HRV數據的最大值和最小值，形成正面情緒HRV信號數據區(qū)間；

所述步驟2中確定采集者處于不同程度的平靜情緒下，采集多組HRV數據，確定這些HRV數據的最大值和最小值，形成平靜情緒HRV信號數據區(qū)間；

負面情緒HRV信號數據區(qū)間、正面情緒HRV信號數據區(qū)間和平靜情緒HRV信號數據區(qū)間不存在交集，若存在交集，視為無效數據，剔除，增加數據采集組數，直到尋找到確定的區(qū)間端值。

4.根據權利要求1所述的結合HRV信號和面部表情判斷情緒的方法，其特征在于：所述HRV信號數據采用心率測試儀綁縛在采集者的手腕處采集。

5.根據權利要求1所述的結合HRV信號和面部表情判斷情緒的方法，其特征在于：所述步驟4確定采集者處于不同程度的負面情緒下，采集多組面部表情圖像，提取這些面部表情圖像的特征，形成負面情緒面部表情特征區(qū)間；

采集者處于不同程度的正面情緒下，采集多組面部表情圖像，提取這些面部表情圖像的特征，形成正面情緒面部表情特征區(qū)間；

采集者處于不同程度的平靜情緒下，采集多組面部表情圖像，提取這些面部表情圖像的特征，形成平靜情緒面部表情特征區(qū)間；

所述負面情緒面部表情特征區(qū)間、正面情緒面部表情特征區(qū)間和平靜情緒面部表情特征區(qū)間不存在交集，若存在交集，視為無效數據，剔除，增加數據采集組數，直到尋找到確定的區(qū)間端值。

6.根據權利要求1所述的結合HRV信號和面部表情判斷情緒的方法，其特征在于：所述面部表情數據采集具體為：

步驟a：采集圖像：攝像機采集嘴部圖像；

步驟b：圖像處理：對圖像進行灰度處理獲得灰度圖，閾值分割獲得二值圖，通過計算sobel算子來計算圖像灰度函數的近似梯度，圖像可清晰顯示牙齒位置和嘴角位置；

步驟c：建立坐標系：以門牙的中心作為圓點，門牙所在平面，平行于牙齒方向為X軸，門牙的中縫與下巴骨骼的中間連線作為Y軸，同時垂直于X軸和Y軸作為Z軸；

步驟d：確定嘴角位置：確定兩側嘴角在坐標系中坐標。

7.根據權利要求6所述的結合HRV信號和面部表情判斷情緒的方法，其特征在于：所述步驟d中嘴角坐標通過 matlab軟件快速標注生成。

8.結合HRV信號和面部表情判斷情緒的設備，其特征在于：該設備通過上述權利要求1-7任一方法實現情緒判斷。