[發明專利]一種基于面部血流分布的情感分類方法及系統

有效

• 申請號: 202010107268.0
• 申請日: 2020-02-21
• 公開（公告）號: CN111259895B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 王慧泉;何森;梁曉韻;陳瑞娟;王金海
• 申請（專利權）人: 天津工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/25;G06V10/764;G06V10/74;G06V10/40;A61B5/16;A61B5/0205;A61B5/026;A61B5/00
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 楊媛媛

本發明所提供的一種基于面部血流分布的情感分類方法及系統，該方法：獲取待分類的面部視頻數據；選取面部圖像數據的鼻翼兩側及臉頰的區域作為ROI區域；確定ROI區域的最佳脈搏波；從ROI區域的最佳脈搏波的時域和頻域信息中提取基本特征；利用ROI區域的最佳脈搏波，從面部圖像數據中提取面部血流分布；將每個面部圖像數據的基本特征和面部血流分布依次排列構成面部血流分布特征序列，作為輸入特征數據；輸入訓練后的SVM模型，進行情感分類。本發明的方法在情感分類過程中應用了面部血流分布特征等生理信息，以避免分類對象因控制自己的面部表情或者控制自己的語音語調來掩飾自己當時的情感，導致情感分類的錯誤，提高情感分類的準確性。

技術領域

本發明涉及情感分類領域，特別是涉及一種基于面部血流分布的情感分類方法及系統。

背景技術

隨著人工智能的快速發展，讓機器能夠識別并“擁有”情感變的至關重要，情感分類已經成為人機自然交互的關鍵因素。科學家對此做了大量的研究，其中很大一部分科學家著力于根據人的面部表情和語音信息作為情感分類的特征，其分類效果良好。但是這種分類方法會因為個體差異而產生差異，有的人善于控制自己的面部表情或者控制自己的語音語調來掩飾自己當時的情感，那么通過上述方法可能就會產生情感分類的錯誤。

發明內容

本發明的目的是提供一種基于面部血流分布的情感分類方法及系統，以避免分類對象因控制自己的面部表情或者控制自己的語音語調來掩飾自己當時的情感，導致情感分類的錯誤，提高情感分類的準確性。

為實現上述目的，本發明提供了如下方案：

一種基于面部血流分布的情感分類方法，所述情感分類方法包括如下步驟：

獲取待分類的面部視頻數據；將面部視頻數據的一幀作為一個面部圖像數據；

選取面部圖像數據的鼻翼兩側及臉頰的區域作為ROI區域；

確定ROI區域的最佳脈搏波；

從所述ROI區域的最佳脈搏波的時域和頻域信息中提取基本特征，所述基本特征包括心動周期、峰值間隔、起始與峰值的間隔、波形幅值、標準心率頻域和最大幅值；

利用所述ROI區域的最佳脈搏波，從所述面部圖像數據中提取面部血流分布；

將每個面部圖像數據的基本特征和面部血流分布依次排列構成面部血流分布特征序列，作為輸入特征數據；

將從情感分類已知的面部視頻數據中提取的面部血流分布特征序列作為訓練特征數據訓練SVM模型，得到訓練后的SVM模型；

將所述輸入特征數據輸入所述訓練后的SVM模型，進行情感分類。

可選的，所述確定ROI區域的最佳脈搏波，具體包括：

分別采用rPPG算法計算ROI區域的R通道、G通道、B通道平均像素灰度值，作為R通道脈搏波、G通道脈搏波、B通道脈搏波；

分別對R通道脈搏波、G通道脈搏波、B通道脈搏波進行去趨勢化、帶通濾波和獨立成分分析，得到R通道獨立成分、G通道獨立成分、B通道獨立成分；

將R通道獨立成分、G通道獨立成分、B通道獨立成分中與所述G通道脈搏波的相關性最大的獨立成分作為最佳脈搏波。

可選的，所述利用所述ROI區域的最佳脈搏波，從所述面部圖像數據中提取面部血流分布，具體包括：

利用ROI區域的最佳脈搏波的頻譜圖的最大幅值對應的頻率計算心率，得到標準心率；

將面部圖像數據進行等邊長分割，將分割得到的每個區域作為一個血流分布檢測器，得到多個血流分布檢測器；

確定每個所述血流分布檢測器的最佳脈搏波；