[發明專利]一種基于視頻眼動和心率分析的恐懼緊張情緒識別方法

在審

• 申請號: 201911107613.4
• 申請日: 2019-11-13
• 公開（公告）號: CN112790750A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 張飛虎
• 申請（專利權）人: 北京卡爾斯通科技有限公司
• 主分類號: A61B5/024
• 分類號: A61B5/024;A61B5/16;G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于視頻眼動和心率分析的恐懼緊張情緒識別方法，利用視頻中人眼動以及遠距離非接觸式心率估計相結合的方式，提出將Relief特征選擇法用于該兩種生理信號的優化選擇分析。最后分別采用k近鄰(kNN)算法和最小乘支持向量機(LS?SVM)算法進行人員的恐懼緊張精神狀態的識別和判斷，本發明涉及視頻分析技術領域。該基于視頻眼動和心率分析的恐懼緊張情緒識別方法，能夠解決現有技術中的異常情緒識別方法受檢測人配合程度制約、測試方法不隱秘和測試效率低的問題，通過眼動數據分析引入的異常數據處理機制，提高了算法效率，并采用特征選擇方法，降低了特征維度，在改善訓練時間的同時，有效提高類似犯罪知情者的異常情緒識別。

技術領域

本發明涉及視頻分析技術領域，具體涉及一種基于視頻的眼動數據分析以及非接觸式心率分析的恐懼緊張情緒識別方法。

背景技術

恐懼緊張情緒是一種人在生活表現出對特殊場景以及目標的負面情緒，恐懼是指人們在面臨某種危險情境，企圖擺脫而又無能為力時所產生的擔驚受怕的一種強烈壓抑情緒體驗，恐懼心理就是平常所說的“害怕”，按照凱利的觀點，恐懼類似威脅但在程度上較輕，當一個人的建構系統的邊緣要素而不是核心建構被證明無效時，恐懼就會產生，軀體癥狀多系交感神經出現反應性癥狀，如氣短，氣促，心慌等。

目前，利用生理信號參數進行人的特定情緒狀態識別的結果更為客觀真實，但，由于基于生理信號的采集都基于接觸式設備，需要在受檢人員身上帶上各種生理指標采集設備，所以，由于涉及到人身自由和隱私，該方式很難得到普遍應用。

Pichard帶領的MIT實驗室記錄了五種生理參數，提取了40種特征，探索基于多生理參數進行情緒識別的可行性，Kim利用音頻材料以及視頻片段作為誘發材料，采集200被試的四種生理參數，采用支持向量機算法來對四種情緒進行分類識別，發現利用同樣的算法當情緒識別種類增加時，識別率有所下降，這些方法在多特征優化處理時，在保證識別準確率的同時，降低整個識別算法模型的復雜度，但是，這些算法往往占據更大的計算資源，對于恐懼緊張的識別判斷，目前多集中于問卷和觀察的方式，但，該方式不利用用于人機交互以及公共安全場景下對人恐懼緊張情緒的捕獲。

發明內容

（一）解決的技術問題

針對現有技術的不足，本發明提供了一種基于視頻眼動和心率分析的恐懼緊張情緒識別方法，利用視頻中人眼動以及遠距離非接觸式心率估計相結合的方式，提出將Relief特征選擇法用于該兩種生理信號的優化選擇分析，最后分別采用k近鄰(kNN)算法和最小乘支持向量機(LS-SVM)算法進行人員的恐懼緊張精神狀態的識別和判斷。

（二）技術方案

為實現以上目的，本發明通過以下技術方案予以實現：一種基于視頻眼動和心率分析的恐懼緊張情緒識別方法，具體包括以下步驟：

S1、拍攝采集受測者正對鏡頭的視頻樣本；

S2、首先檢測人臉以及眼部所在位置，利用已訓練好的深度卷積神經網絡（DCNN）進行視線方向的估計，輸出人臉在三維世界下的視線方向估計，得到視線方程；

S3、檢測人臉額頭天庭位置，采用rPPG遠程光電體積掃描技術進行遠距離非接觸式心率估計，rPPG利用反射的周圍光來測量皮膚的細微亮度變化，而皮膚的細微亮度變化是因為心臟跳動導致了血液流動，因此，通過rPPG技術能夠得到類似血容量脈搏（BVP）的信號，此信號用于預測心率，具體地，當一定波長的光照到活體皮膚的表面，光將通過反射或透射傳送出人體皮膚表面，在這個過程里，光因為受了血液、組織、肌肉和皮膚的吸收，強度會發生減弱，皮膚、組織、肌肉對特定的波長光的吸收在血液的循環中保持恒定不變，僅由皮膚內血液容積隨心臟跳動導致光強的吸收呈現出搏動性的變化，由于人體組織所吸收的光沒有血容量對光的吸收多，因此血容量的變化將由從皮膚表面反射或透射出來的光強度變化來反映，然后提出基于深度學習的心率估計模型；

S4、將步驟S1至步驟S3得到眼部位置信息以及心率特征信息向量輸入Relief-SVM算法框架中進行處理；