[發明專利]一種融合瞳孔數據和面部表情的實時情緒識別方法及系統

有效

• 申請號: 202111410951.2
• 申請日: 2021-11-25
• 公開（公告）號: CN113837153B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 李太豪;徐若豪;裴冠雄;劉昱龍
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/18;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明屬于人工智能和認知科學的交叉領域，涉及一種融合瞳孔數據和面部表情的實時情緒識別方法及系統，在沉浸式VR環境下利用HTC Vive Pro Eye虛擬現實頭戴式設備和VR取像組件實時采集被試者瞳孔數據和人臉數據，提取人臉數據中的關鍵特征點，構造人臉幾何結構特征向量，并融合瞳孔直徑特征，采用支持向量機SVM分類器進行分類，從而在沉浸式環境中實時識別被試者情緒。本發明基于沉浸式VR頭戴式設備進行實時人臉捕捉，同時融合瞳孔數據進行實時情緒識別，提高了情緒識別的準確率，能夠在沉浸式虛擬現實環境中進行實時隱式測量，在情緒研究領域具有廣泛的應用前景。

技術領域

本發明屬于人工智能和認知科學的交叉領域，涉及一種融合瞳孔數據和面部表情的實時情緒識別方法及系統。

背景技術

情緒是人對特定情況或刺激的身體反應，在每個人的生活中都扮演著非常重要的角色。人們在日常工作、人際交往或認知活動中都有情緒。近年來，對情緒自動識別方法的研究有了很大的增長。識別情緒的有效方法的發展不僅可以改善人機交互，還有助于其他領域的發展，如心理學、醫學、教育和娛樂等。

情緒誘發是指利用情緒誘發素材對受試者的情緒進行誘發，通常由視覺刺激（圖像、電影）和聲音刺激（音樂、聲音）誘發情緒。傳統的基于照片或視頻的情緒識別存在以下幾個缺點：（1）難以通過操縱刺激來適應任務難度；（2）大多數刺激只在白色或中性背景下顯示孤立的面孔或上半身；（3）二維電腦屏幕或照片沉浸感差。相比之下，日常生活中的情感識別是在復雜的環境中進行的，而且往往是在互動過程中進行的。

隨著虛擬現實技術的快速發展，虛擬現實技術具有沉浸感、真實感、想象性和交互性等特點，利用沉浸式虛擬現實技術制作的情感誘發場景和360°視頻場景在情緒誘發中具有極大的優勢：（1）沉浸式VR能夠提供被試者完全沉浸的體驗，使被試者有一種身臨其境的感覺；（2）沉浸式VR能夠避免外界環境的干擾，獲得相對客觀的情緒反應；（3）360°視頻數據比圖片、平面視頻能誘發更強烈的情緒反應，虛擬現實的沉浸感會產生更逼真的認知和情感功能；（4）在沉浸式VR中，單一環境刺激，能夠獲取多模態的情感。

在360°視頻作為情緒刺激材料進行情緒誘發時，需要對360°視頻對受試者所觸發的情緒進行評價進而得到相應的情緒標簽。根據二維情緒模型（情緒喚醒度和情緒效價）對被誘發的情緒狀態進行總體評價，并標記快樂、悲傷、憤怒、驚訝、厭惡、恐懼和平靜七種情緒標簽。

傳統虛擬現實頭戴式設備由于面部遮擋，不利于識別被試者情緒，而內置眼動儀的虛擬現實頭戴式設備能夠在沉浸式環境中捕捉眼動數據，利用眼動數據能夠輔助情緒識別。其中，瞳孔大小是眼動研究中一個重要的參數指標，在一定程度上能夠反映人的心理活動并影響他人的心理與行為。瞳孔不僅受到亮度等物理因素的影響，還受到自身所經歷的情緒影響，情緒喚醒會激活自主神經系統，進而引起瞳孔變化。瞳孔指標在控制好無關變量的前提下可以作為探測心理活動的重要指標之一。

發明內容

針對現有技術的不足，本發明提供了一種融合瞳孔數據和面部表情的實時情緒識別方法及系統，利用360°視頻誘發情緒，基于沉浸式虛擬現實頭戴式設備進行隱式人臉捕捉和瞳孔數據采集，提出在利用人臉特征進行情緒識別時融入瞳孔直徑特征，最后采用支持向量機SVM分類器進行分類，從而識別被試者情緒。

其具體技術方案如下：

一種融合瞳孔數據和面部表情的實時情緒識別方法，包括以下步驟：

S1、獲取用于誘發情緒的360°VR視頻數據；

S2、基于Unity虛擬現實引擎搭建VR場景視頻播放模塊，作為情緒刺激材料，誘發被試者的情緒；

S3、基于HTC Vive Pro Eye虛擬現實頭戴式設備記錄情感誘發視頻，并采集被試者人臉數據和瞳孔數據；