[發(fā)明專(zhuān)利]一種用于眼動(dòng)儀的情感識(shí)別系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011160004.8
• 申請(qǐng)日: 2020-10-27
• 公開(kāi)（公告）號(hào): CN112006700B
• 公開(kāi)（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 李華京;杜鑫;陳芳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 成都大學(xué);壘途智能教科技術(shù)研究院江蘇有限公司;杭州禾士醫(yī)療科技有限公司
• 主分類(lèi)號(hào): A61B5/16
• 分類(lèi)號(hào): A61B5/16
• 代理公司: 南京智造力知識(shí)產(chǎn)權(quán)代理有限公司 32382
• 代理人: 王軍麗

一種用于眼動(dòng)儀的情感識(shí)別系統(tǒng)及方法，包括畫(huà)面播放系統(tǒng)、眼動(dòng)監(jiān)測(cè)系統(tǒng)和情感分析系統(tǒng)，既能夠追蹤眼動(dòng)狀態(tài)，又結(jié)合眼瞼、眨眼狀態(tài)等數(shù)據(jù)進(jìn)行綜合性分析，并結(jié)合各次的數(shù)據(jù)進(jìn)行比對(duì)以獲得計(jì)權(quán)的情感數(shù)據(jù)參考，能夠集成于所述眼動(dòng)儀上。

技術(shù)領(lǐng)域

本發(fā)明屬于眼動(dòng)儀技術(shù)領(lǐng)域，具體涉及一種用于眼動(dòng)儀的情感識(shí)別系統(tǒng)及方法。

背景技術(shù)

眼動(dòng)儀是心理學(xué)基礎(chǔ)研究的重要儀器。眼動(dòng)儀用于記錄人在處理視覺(jué)信息時(shí)的眼動(dòng)軌跡特征，廣泛用于注意、視知覺(jué)、閱讀等領(lǐng)域的研究。眼動(dòng)的時(shí)空特征是視覺(jué)信息提取過(guò)程中的生理和行為表現(xiàn)，它與人的心理活動(dòng)有著直接或間接的關(guān)系，這也是許多心理學(xué)家致力于眼動(dòng)研究的原因所在。

現(xiàn)有結(jié)合眼動(dòng)儀進(jìn)行情感數(shù)據(jù)分析的設(shè)備多僅記錄瞳孔運(yùn)動(dòng)數(shù)據(jù)，結(jié)合運(yùn)用于自閉癥、AR場(chǎng)景應(yīng)用、VR場(chǎng)景運(yùn)用中。

諸如中國(guó)專(zhuān)利文獻(xiàn)CN111339878A中公開(kāi)了一種基于眼動(dòng)數(shù)據(jù)數(shù)據(jù)的修正型實(shí)時(shí)情感識(shí)別方法及系統(tǒng)，在VR環(huán)境中實(shí)時(shí)采集眼動(dòng)數(shù)據(jù)，即通過(guò)眼動(dòng)儀跟蹤能夠準(zhǔn)確、高效的獲取豐富的眼動(dòng)信息（眼動(dòng)時(shí)間、眼動(dòng)方向、眼動(dòng)距離、注視時(shí)間、注視次數(shù)、瞳孔直徑大小、眨眼次數(shù)），從眼動(dòng)角度分析受測(cè)對(duì)象的情感狀態(tài)，利用SVR對(duì)面部表情特征向量和眼動(dòng)特征向量進(jìn)行處理。

諸如中國(guó)專(zhuān)利文獻(xiàn)CN105868694A、CN109803109A中公開(kāi)了一種基于面部表情和眼球動(dòng)作的情感識(shí)別方案，其利用眼動(dòng)儀捕捉用戶(hù)的眼睛所聚焦的焦點(diǎn)位置，利用面部表情識(shí)別系統(tǒng)采集人臉的8個(gè)采集位置的生理信號(hào)，根據(jù)各個(gè)采集位置的生理信號(hào)分析各個(gè)采集位置的肌肉緊張程度，再結(jié)合8個(gè)采集位置的肌肉緊張程度通過(guò)分析算法來(lái)分析確定用戶(hù)的當(dāng)前面部表情。

諸如中國(guó)專(zhuān)利文獻(xiàn)CN110931111A中公開(kāi)了一種基于虛擬現(xiàn)實(shí)及多模態(tài)信息的孤獨(dú)癥輔助干預(yù)系統(tǒng)及方法，其使用內(nèi)置眼動(dòng)儀獲得眼睛運(yùn)動(dòng)數(shù)據(jù)，計(jì)算眼動(dòng)的方向和焦點(diǎn)，使用腔外攝像頭拍攝下半張臉獲得下巴及兩頰的肌肉運(yùn)動(dòng)數(shù)據(jù)，通過(guò)語(yǔ)音特征提取單元進(jìn)行情感識(shí)別獲得用戶(hù)互動(dòng)語(yǔ)言的情感分?jǐn)?shù)。

諸如中國(guó)專(zhuān)利文獻(xiàn)CN111695442A公開(kāi)了一種基于多模態(tài)融合的在線智能輔助系統(tǒng)，眼動(dòng)儀檢測(cè)用戶(hù)的眼跳過(guò)程，將眼動(dòng)儀收集到的數(shù)據(jù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取相應(yīng)的特征，再通過(guò)SVM可判斷其氣質(zhì)類(lèi)型。

然而，現(xiàn)有技術(shù)中尚不存在既追蹤眼動(dòng)狀態(tài)，又結(jié)合眼瞼、眨眼狀態(tài)等數(shù)據(jù)進(jìn)行綜合性分析，并結(jié)合各次的數(shù)據(jù)進(jìn)行比對(duì)以獲得計(jì)權(quán)的情感數(shù)據(jù)參考的用于眼動(dòng)儀的情感識(shí)別解決方案。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種用于眼動(dòng)儀的情感識(shí)別系統(tǒng)及方法，既能夠追蹤眼動(dòng)狀態(tài)，又結(jié)合眼瞼、眨眼狀態(tài)等數(shù)據(jù)進(jìn)行綜合性分析，并結(jié)合各次的數(shù)據(jù)進(jìn)行比對(duì)以獲得計(jì)權(quán)的情感數(shù)據(jù)參考，能夠集成于所述眼動(dòng)儀上的解決方案。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種用于眼動(dòng)儀的情感識(shí)別系統(tǒng)，包括畫(huà)面播放系統(tǒng)、眼動(dòng)監(jiān)測(cè)系統(tǒng)和情感分析系統(tǒng)，所述畫(huà)面播放系統(tǒng)用于播放用戶(hù)注視視頻畫(huà)面，所述眼動(dòng)監(jiān)測(cè)系統(tǒng)包括作為光源實(shí)現(xiàn)面部光線補(bǔ)足的補(bǔ)光系統(tǒng)、結(jié)合攝像設(shè)備進(jìn)行瞳孔位置追蹤并存儲(chǔ)追蹤數(shù)據(jù)的瞳孔追蹤系統(tǒng)、監(jiān)測(cè)瞳孔大小的瞳孔大小監(jiān)測(cè)系統(tǒng)、監(jiān)測(cè)眨眼狀態(tài)的眨眼監(jiān)測(cè)系統(tǒng)和監(jiān)測(cè)眼瞼松弛程度的眼瞼松弛度監(jiān)測(cè)系統(tǒng)，所述情感分析系統(tǒng)包括眼動(dòng)信息庫(kù)系統(tǒng)、結(jié)合眼動(dòng)信息庫(kù)系統(tǒng)內(nèi)數(shù)據(jù)以及眼動(dòng)監(jiān)測(cè)系統(tǒng)進(jìn)行綜合比對(duì)的眼動(dòng)信息比對(duì)系統(tǒng)，還包括情感信息庫(kù)系統(tǒng)、結(jié)合情感信息庫(kù)系統(tǒng)內(nèi)數(shù)據(jù)以及眼動(dòng)監(jiān)測(cè)系統(tǒng)進(jìn)行綜合比對(duì)的情感信息比對(duì)系統(tǒng)。

優(yōu)選的，所述瞳孔追蹤系統(tǒng)包括記錄瞳孔運(yùn)動(dòng)軌跡的軌跡成像系統(tǒng)、監(jiān)測(cè)瞳孔跳動(dòng)頻率的眼跳頻率監(jiān)測(cè)系統(tǒng)、結(jié)合眼跳頻率監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)并記錄瞳孔跳動(dòng)距離的眼跳距離監(jiān)測(cè)系統(tǒng)以及結(jié)合眨眼監(jiān)測(cè)系統(tǒng)和眼瞼松弛度監(jiān)測(cè)系統(tǒng)進(jìn)行睜眼前瞳孔位移預(yù)測(cè)的位移預(yù)測(cè)系統(tǒng)。