[發(fā)明專利]基于跨腦耦合關(guān)系計(jì)算的腦電情感識別方法及腦機(jī)系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111674867.1
• 申請日: 2021-12-31
• 公開（公告）號: CN114469090A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 朱莉;張建海;孔萬增;戴瑋辰;李俊華;崔高超
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/369;A61B5/378;A61B5/38;A61B5/00;G06F3/01;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明專利的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于跨腦耦合關(guān)系計(jì)算的情感識別在線腦機(jī)接口系統(tǒng)，該系統(tǒng)支持多人同時(shí)使用，提升在線識別的精度和穩(wěn)定性，實(shí)現(xiàn)對細(xì)粒度具體情感的識別。本發(fā)明基于跨腦耦合關(guān)系計(jì)算的腦電情感識別方法，具體步驟如下：步驟一：情感刺激任務(wù)；步驟二：多人腦電同步采集；步驟三、數(shù)據(jù)預(yù)處理形成訓(xùn)練集；步驟四、打標(biāo)簽；步驟五、腦電耦合關(guān)系訓(xùn)練；步驟六、訓(xùn)練結(jié)果耦合關(guān)系特征計(jì)算驗(yàn)證。本發(fā)明提供的跨腦融合關(guān)系計(jì)算的情感識別方法通過腦電設(shè)備采集多名用戶的腦電數(shù)據(jù)，并對跨腦耦合關(guān)系特征進(jìn)行提取，并在線計(jì)算細(xì)粒度具體情感的識別正確率，可顯著提高情感識別正確率。

技術(shù)領(lǐng)域

本發(fā)明專利屬于人工智能-模式識別-腦機(jī)接口領(lǐng)域，具體涉及一種基于跨腦耦合關(guān)系的情感識別方法及其在線腦機(jī)接口系統(tǒng)。

背景技術(shù)

情感計(jì)算是一種使得計(jì)算機(jī)可以擁有識別、理解、表征、適應(yīng)和反饋人類外在情感的能力，幫助計(jì)算機(jī)向著更全面智能化的方向發(fā)展的技術(shù)。目前國內(nèi)外的情感計(jì)算已經(jīng)取得多方面的進(jìn)展，主要包括人臉表情識別、文本情感分析、行為情感理解、語言/語音情感識別和生理信號情感計(jì)算。其中，具有真實(shí)性、不受主觀控制和客觀性等顯著特點(diǎn)的生理信號情感計(jì)算成為近年來的關(guān)注熱點(diǎn)。腦電(EEG)因其具有便攜性和高時(shí)間分辨率等方面的優(yōu)勢，在情感計(jì)算領(lǐng)域最常用的生理信號，已積累許多科研和應(yīng)用成果。

情感腦機(jī)接口(Brain computer interface，BCI)是實(shí)現(xiàn)人-機(jī)情感交互智能的核心技術(shù)，是指可以為人腦與外部環(huán)境/機(jī)器之間建立起一種新型情感信息交互方式的技術(shù)。其工作原理是通過采集由情感刺激誘發(fā)的人腦信號，對其進(jìn)行模式識別，解析處大腦情感感知到的類型，再將其轉(zhuǎn)化為外部指令，進(jìn)而與外部設(shè)備/環(huán)境達(dá)到情感上的溝通交互。這既可以讓機(jī)器學(xué)習(xí)到人類情感，又可以通過機(jī)器調(diào)制情感認(rèn)知障礙，其內(nèi)涵已不僅僅是讓機(jī)器具有情感智能，還擴(kuò)展至人與機(jī)器的情感交互。其中，基于腦電信號的情感BCI是主要方向。但是當(dāng)前的腦機(jī)接口系統(tǒng)存在以下三個(gè)缺陷：

(1)情感識別精度低；由于大腦中數(shù)百億神經(jīng)元的功能和機(jī)制并沒有被足夠的理解和挖掘，這使得BCI技術(shù)對于大腦信號的正確識別受到了制約。而且，腦信號受到來自環(huán)境和自身生理信號的多重干擾，使得與任務(wù)相關(guān)的信號難以被識別。

(2)情感識別類別少；目前情感識別主要集中在粗粒度積極、消極等二分類任務(wù)，而鮮少對細(xì)粒度具體情感的識別。

(3)缺少社會交互，穩(wěn)定性弱；當(dāng)前情感識別腦機(jī)接口都是單人模式，系統(tǒng)的識別僅來源于單一個(gè)體，使得結(jié)果不夠穩(wěn)定；同時(shí)，交互行為是社會活動的核心，尤其是情感交互，如對自己的情感感知以及別人行為對于自己的影響等。

(4)在線程度低；現(xiàn)有情感腦機(jī)接口，通常只進(jìn)行離線數(shù)據(jù)分析，這將數(shù)據(jù)采集和算法分離，導(dǎo)致BCI研究仍停留在實(shí)驗(yàn)階段。

發(fā)明內(nèi)容

本發(fā)明專利的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于跨腦耦合關(guān)系計(jì)算的情感識別在線腦機(jī)接口系統(tǒng)，該系統(tǒng)支持多人同時(shí)使用，提升在線識別的精度和穩(wěn)定性，實(shí)現(xiàn)對細(xì)粒度具體情感的識別。

本發(fā)明基于跨腦耦合關(guān)系計(jì)算的腦電情感識別方法，具體步驟如下：

步驟一、向m個(gè)訓(xùn)練人員提供多個(gè)情感誘發(fā)任務(wù)，m≥2；該多個(gè)情感誘發(fā)任務(wù)包含所有的n個(gè)細(xì)粒度情感類別，n≥4；

步驟二、在各訓(xùn)練人員進(jìn)行情感誘發(fā)任務(wù)的同時(shí)采集腦電信號，獲得訓(xùn)練人員在執(zhí)行每個(gè)情感誘發(fā)任務(wù)時(shí)的腦電信號；并將所有腦電信號向主控電腦發(fā)出傳遞請求進(jìn)程，進(jìn)行同步傳遞，一次腦電數(shù)據(jù)采集中，每個(gè)訓(xùn)練人員均提取P個(gè)通道數(shù)據(jù)，m個(gè)訓(xùn)練者共計(jì)采集到P*m個(gè)通道數(shù)據(jù)；

步驟三、分別對步驟二采集到的各個(gè)訓(xùn)練人員的腦電數(shù)據(jù)進(jìn)行預(yù)處理；并對腦電信號打上對應(yīng)的情感類別標(biāo)簽，形成訓(xùn)練集；

步驟四、計(jì)算訓(xùn)練集中的各訓(xùn)練人員的腦電數(shù)據(jù)間的耦合關(guān)系矩陣，得到各情感誘發(fā)任務(wù)對應(yīng)的訓(xùn)練用腦電耦合關(guān)系特征；