[發(fā)明專利]一種基于FECNN-LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111037434.5
• 申請(qǐng)日: 2021-09-06
• 公開(kāi)（公告）號(hào): CN113729707A
• 公開(kāi)（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 陶小梅;陳心怡;周穎慧;鮑金笛
• 申請(qǐng)（專利權(quán)）人: 桂林理工大學(xué)
• 主分類(lèi)號(hào): A61B5/16
• 分類(lèi)號(hào): A61B5/16;A61B3/113;A61B5/024;A61B5/00;A61B3/11;A61B5/11
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于FECNN?LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法。包括：通過(guò)觀看學(xué)習(xí)視頻刺激材料，利用眼動(dòng)跟蹤技術(shù)和光電容積脈搏波描記的容積測(cè)量方法，獲得學(xué)習(xí)者的瞳孔直徑、眨眼、注視和眼跳等眼動(dòng)信息以及心率值，心率變異性，峰值間期信號(hào)。研究在線學(xué)習(xí)過(guò)程中學(xué)習(xí)者情感狀態(tài)與眼動(dòng)生理信號(hào)的關(guān)系。計(jì)算并使用主成分分析法選取與學(xué)習(xí)者情感狀態(tài)最相關(guān)的眼動(dòng)特征、心率特征、心率變異性特征和峰值間期特征。再進(jìn)行特征層融合生成淺層特征，歸一化處理后，再用FECNN網(wǎng)絡(luò)提取深層特征，再將得到的深層特征和淺層特征進(jìn)行特征層融合后采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM和隨機(jī)森林RF,K近鄰KNN,多層感知機(jī)MLP和支持向量機(jī)SVM進(jìn)行感興趣，困惑，無(wú)聊，高興四種情感分類(lèi)。

本研究得到國(guó)家自然科學(xué)基金項(xiàng)目(編號(hào)：61906051)、廣西自然科學(xué)基金項(xiàng)目(編號(hào)：2018GXNSFBA050029)和桂林理工大學(xué)博士科研啟動(dòng)基金(GUTQDJJ2005015)資助

技術(shù)領(lǐng)域

本發(fā)明涉及情感識(shí)別領(lǐng)域，尤其涉及一種針對(duì)視頻學(xué)習(xí)的基于眼動(dòng)和PPG多模態(tài)信號(hào)分析融合并使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的情感識(shí)別方法。

背景技術(shù)

隨著人工智能的快速發(fā)展，情感智能也逐漸受到研究者的重視。情感計(jì)算是賦予計(jì)算機(jī)識(shí)別，理解，表達(dá)和適應(yīng)人情感的能力，使其能夠感知用戶的情感狀態(tài)，適時(shí)做出正確的響應(yīng)。情感識(shí)別是情感計(jì)算研究的關(guān)鍵問(wèn)題之一，對(duì)人機(jī)交互等各種不同場(chǎng)景下都具有重要意義。當(dāng)前的情感識(shí)別研究主要有：采用語(yǔ)音，文本，人臉表情，生理信號(hào)(如：腦電EEG，皮膚電EDA，肌電EMG，光電脈搏信號(hào)PPG等)以及多模態(tài)信號(hào)融合進(jìn)行情感識(shí)別等。其中人臉表情和語(yǔ)音等是外在表現(xiàn)，容易被隱藏或者偽裝。相比之下，生理信號(hào)的變化由人體生理系統(tǒng)自發(fā)產(chǎn)生，不受個(gè)人主觀意愿控制，能為情感識(shí)別提供準(zhǔn)確可靠的依據(jù)。此外，隨著科學(xué)技術(shù)的發(fā)展，采集生理信號(hào)的設(shè)備日漸完善，具有便于攜帶，非侵入式，信號(hào)穩(wěn)定的特點(diǎn)，因此基于生理信號(hào)的情感識(shí)別研究具有很大的實(shí)用價(jià)值。但是選取合適的情感特征以及分類(lèi)方法還需要進(jìn)一步研究。

PPG是一種叫做光電容積脈搏波描記的容積測(cè)量方法，通過(guò)光學(xué)技術(shù)測(cè)量血流速率以及血液中容量的變化。心率(Heart Rate，HR)、心搏間期和心率變異性(Heart RateVariability,HRV)等與情感變化相關(guān)的生理指標(biāo)均可以通過(guò)光電脈搏信號(hào)計(jì)算得出。HRV是指連續(xù)心跳之間的時(shí)間間隔變化，是個(gè)體情緒和心理狀態(tài)的重要指標(biāo)，能夠很好的表征情感狀態(tài)的變化。此外，脈搏信號(hào)相比腦電，呼吸等生理信號(hào)，采集方式更便捷，包含的情感特征更豐富。研究中常用PPG的時(shí)頻域特征、深度層次特征以及心率相關(guān)的特征進(jìn)行情感分類(lèi)。

視覺(jué)是人們獲取信息的直接通道，眼動(dòng)信息能客觀反映出人腦的信息加工機(jī)制。人的認(rèn)知加工過(guò)程很大程度上依賴于視覺(jué)系統(tǒng)，約有80％～90％的外界信息是通過(guò)人眼獲取的。在視頻學(xué)習(xí)中學(xué)習(xí)者的眼動(dòng)信息較豐富,且可以通過(guò)非入侵方式的眼動(dòng)追蹤技術(shù)獲取眼動(dòng)數(shù)據(jù),不會(huì)干擾學(xué)習(xí)過(guò)程。隨著眼動(dòng)追蹤技術(shù)的普及,眼動(dòng)數(shù)據(jù)可視化在理論和應(yīng)用方面得到快速發(fā)展。眼動(dòng)數(shù)據(jù)可視化4種主要可視化方法:掃描路徑法、熱區(qū)圖法、感興趣區(qū)法和三維空間法,眼動(dòng)的時(shí)空特征是視覺(jué)信息提取過(guò)程中的生理和行為表現(xiàn),與人的心理活動(dòng)有著直接或者間接的關(guān)系，眼動(dòng)特征能真實(shí)反映學(xué)習(xí)者的心理狀態(tài)，參與度和認(rèn)知負(fù)荷程度。

然而單個(gè)模態(tài)的生理信號(hào)進(jìn)行情感識(shí)別的研究具有一定的局限性，不同模態(tài)的生理信號(hào)具有互補(bǔ)性和相關(guān)性，因此本文嘗試使用眼動(dòng)和PPG雙模態(tài)生理信號(hào)的時(shí)頻域特征融合深層特征進(jìn)行情感分類(lèi)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題：針對(duì)現(xiàn)有不足，本發(fā)明提出一種基于FECNN-LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法，所提出的方法包括：

本發(fā)明的技術(shù)方案：

步驟1：自建眼動(dòng)和PPG多模態(tài)數(shù)據(jù)庫(kù)，以學(xué)習(xí)視頻作為刺激材料，獲取眼動(dòng)及PPG數(shù)據(jù)。