[發(fā)明專(zhuān)利]基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710378148.2
• 申請(qǐng)日: 2017-05-24
• 公開(kāi)（公告）號(hào): CN107256332B
• 公開(kāi)（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 呂寶糧;鄭偉龍;石振鋒;周暢
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海交通大學(xué)
• 主分類(lèi)號(hào): G16H10/40
• 分類(lèi)號(hào): G16H10/40;G06K9/62
• 代理公司: 上海交達(dá)專(zhuān)利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

一種基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)及方法，通過(guò)眼動(dòng)儀采集對(duì)象眼動(dòng)數(shù)據(jù)，根據(jù)眼動(dòng)數(shù)據(jù)中的注視點(diǎn)建立時(shí)間?空間模型；然后使用動(dòng)態(tài)時(shí)間規(guī)整算法快速技術(shù)計(jì)算序列之間相似程度并構(gòu)建距離矩陣，再通過(guò)基于密度的聚類(lèi)算法進(jìn)行離群點(diǎn)檢測(cè)，并根據(jù)聚類(lèi)結(jié)果采用學(xué)習(xí)排序訓(xùn)練模型，經(jīng)量化排序后得到對(duì)象的參與度；本發(fā)明能夠客觀量化評(píng)價(jià)對(duì)象參與實(shí)驗(yàn)認(rèn)真程度，為實(shí)驗(yàn)以及模型形成反饋，以保證數(shù)據(jù)質(zhì)量以及提高模型預(yù)測(cè)精確度。對(duì)對(duì)象參與實(shí)驗(yàn)的程度進(jìn)行了量化的評(píng)估，構(gòu)造了情緒識(shí)別實(shí)驗(yàn)的量化反饋。

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種信息處理領(lǐng)域的技術(shù)，具體是一種基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)及方法。

背景技術(shù)

機(jī)器學(xué)習(xí)是一門(mén)人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。機(jī)器學(xué)習(xí)從學(xué)習(xí)方式上，可以分成：1.監(jiān)督學(xué)習(xí)；2.非監(jiān)督學(xué)習(xí)；3.半監(jiān)督學(xué)習(xí)；4.增強(qiáng)學(xué)習(xí)。當(dāng)今監(jiān)督學(xué)習(xí)在各領(lǐng)域均有相對(duì)較成熟的運(yùn)用，但是，監(jiān)督學(xué)習(xí)對(duì)樣本標(biāo)簽的依賴(lài)限制了其進(jìn)一步發(fā)展：標(biāo)簽不精確、樣本基數(shù)過(guò)大導(dǎo)致給定標(biāo)簽代價(jià)過(guò)大等等均可能影響監(jiān)督學(xué)習(xí)準(zhǔn)確度。相反，半監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及增強(qiáng)學(xué)習(xí)更加接近于人類(lèi)的學(xué)習(xí)方式，通過(guò)觀察來(lái)學(xué)習(xí)做成如何的動(dòng)作，每個(gè)動(dòng)作都會(huì)對(duì)環(huán)境有所影響，學(xué)習(xí)對(duì)象根據(jù)觀察到的周?chē)h(huán)境的反饋來(lái)做出判斷。因此，半監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及增強(qiáng)學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域占據(jù)了很重要的一部分。反饋是實(shí)現(xiàn)半監(jiān)督、非監(jiān)督學(xué)習(xí)、增強(qiáng)學(xué)習(xí)十分重要的一環(huán)。因此，此方法的提出也是實(shí)現(xiàn)更好的非監(jiān)督學(xué)習(xí)的重要的一步。

現(xiàn)今多數(shù)實(shí)驗(yàn)均需要通過(guò)對(duì)象參與實(shí)驗(yàn)采集數(shù)據(jù)，因此，對(duì)象參與程度直接影響了數(shù)據(jù)的優(yōu)劣程度。例如在情緒識(shí)別實(shí)驗(yàn)中，對(duì)象通過(guò)觀看刺激素材，被誘發(fā)相應(yīng)的情緒并采集腦電數(shù)據(jù)，根據(jù)腦電數(shù)據(jù)預(yù)測(cè)對(duì)象在觀看各個(gè)刺激素材時(shí)的情緒。如果對(duì)象在觀看刺激素材是，出現(xiàn)發(fā)呆、走神、或故意不認(rèn)真觀看素材的行為，將導(dǎo)致數(shù)據(jù)質(zhì)量低下、模型預(yù)測(cè)精確度降低。在此方法提出之前，普遍采用填表反饋的方式，對(duì)象在結(jié)束一個(gè)片段的觀看后，在反饋表格上填寫(xiě)對(duì)自己情緒的評(píng)價(jià)。這種反饋主觀因素過(guò)大，也存在對(duì)象故意隱瞞、欺騙的可能性，因此，一個(gè)客觀的基于真實(shí)數(shù)據(jù)來(lái)評(píng)估對(duì)象參與程度的方式十分的重要。

動(dòng)態(tài)時(shí)間規(guī)整算法(DTW)曾經(jīng)是語(yǔ)音識(shí)別的一種主流方法。其將時(shí)間規(guī)整與距離規(guī)整測(cè)度結(jié)合起來(lái)，采用動(dòng)態(tài)規(guī)劃技術(shù)，比較兩個(gè)大小不同的模式，解決語(yǔ)音識(shí)別中語(yǔ)速多變的難題。其基于動(dòng)態(tài)規(guī)劃，能有效減小搜索時(shí)間，但對(duì)于大量樣本數(shù)據(jù)，O(n²)時(shí)間復(fù)雜度仍然會(huì)消耗大量運(yùn)算時(shí)間。因此，本方法中采用了DTW的快速技術(shù)，由文獻(xiàn)Stan SalvadorPhilip Chan,FastDTW:Toward Accurate Dynamic Time Warping in Linear Time andSpace.KDD Workshop on Mining Temporal and Sequential Data提出的FastDTW算法。由于眼動(dòng)數(shù)據(jù)的長(zhǎng)度不一，本方法將原用于語(yǔ)音識(shí)別的技術(shù)用在眼動(dòng)數(shù)據(jù)匹配上，成為本方法重要的一個(gè)組成部分。

眼動(dòng)儀是近年新型的科技產(chǎn)品，佩戴之后，可以精確采集佩戴者關(guān)于眼睛運(yùn)動(dòng)的信息，包括：眨眼、注視點(diǎn)、注視時(shí)長(zhǎng)、瞳孔大小。并可統(tǒng)計(jì)出：眨眼次數(shù)，注視次數(shù)，掃視、平均瞳孔大小、平均眨眼時(shí)長(zhǎng)、眨眼頻率、注視頻率等。在文獻(xiàn)Yifei Lu,Wei-Long Zheng,Binbin Li,and Bao-Liang Lu,Combining Eye Movements and EEG to Enhance EmotionRecognition,in Proc.of the International Joint Conference on ArtificialIntelligence(IJCAI'15)中，通過(guò)從眼動(dòng)儀統(tǒng)計(jì)數(shù)據(jù)中提取特征，可以單獨(dú)用作情緒識(shí)別或構(gòu)造多模態(tài)。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提出一種基于眼動(dòng)數(shù)據(jù)的腦電實(shí)驗(yàn)評(píng)估系統(tǒng)及方法，客觀量化評(píng)價(jià)對(duì)象參與實(shí)驗(yàn)認(rèn)真程度，為實(shí)驗(yàn)以及模型形成反饋，以保證數(shù)據(jù)質(zhì)量以及提高模型預(yù)測(cè)精確度。對(duì)對(duì)象參與實(shí)驗(yàn)的程度進(jìn)行了量化的評(píng)估，構(gòu)造了情緒識(shí)別實(shí)驗(yàn)的量化反饋。