[發(fā)明專利]基于視頻腦電信號(hào)的情緒識(shí)別方法、裝置及計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011097538.0
• 申請(qǐng)日: 2020-10-14
• 公開（公告）號(hào): CN112220455A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 常春起;陳淑萍;付瑞琦;范夢(mèng)迪
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): A61B5/00
• 分類號(hào): A61B5/00;A61B5/24;A61B5/372;A61B5/16;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 李瑩

本申請(qǐng)涉及一種基于視頻腦電信號(hào)的情緒識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，其中該方法包括：在情緒誘發(fā)實(shí)驗(yàn)中同步采集訓(xùn)練所需的視頻數(shù)據(jù)和腦電數(shù)據(jù)；根據(jù)患者的自我評(píng)估結(jié)果分別將對(duì)應(yīng)的視頻數(shù)據(jù)和腦電數(shù)據(jù)打上對(duì)應(yīng)的情緒標(biāo)簽，并對(duì)所述腦電數(shù)據(jù)進(jìn)行預(yù)處理；通過所述視頻數(shù)據(jù)和腦電數(shù)據(jù)分別對(duì)CNN網(wǎng)絡(luò)和ShallowConvNet網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練得到訓(xùn)練好的面部表情識(shí)別模型和腦電情緒識(shí)別模型；當(dāng)所述面部表情識(shí)別模型的識(shí)別結(jié)果和腦電情緒識(shí)別模型的識(shí)別結(jié)果的一致性達(dá)到預(yù)設(shè)的閾值時(shí)，則可作為最終的情緒識(shí)別結(jié)果。本發(fā)明可有效提高情緒識(shí)別的準(zhǔn)確性，以便醫(yī)護(hù)人員對(duì)患者的異常情緒狀態(tài)及時(shí)進(jìn)行疏導(dǎo)。

技術(shù)領(lǐng)域

本發(fā)明涉及智能識(shí)別技術(shù)領(lǐng)域，特別是涉及一種基于視頻腦電信號(hào)的情緒識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

情緒識(shí)別原本是指?jìng)€(gè)體對(duì)于他人情緒的識(shí)別，現(xiàn)多指AI通過獲取個(gè)體的生理或非生理信號(hào)對(duì)個(gè)體的情緒狀態(tài)進(jìn)行自動(dòng)辨別，是情感計(jì)算的一個(gè)重要組成部分。情緒識(shí)別研究的內(nèi)容包括面部表情、語(yǔ)音、心率、行為、文本和生理信號(hào)識(shí)別等方面，通過以上內(nèi)容來判斷用戶的情緒狀態(tài)。

目前，隨著人工智能識(shí)別技術(shù)的發(fā)展，情緒識(shí)別技術(shù)已經(jīng)開始逐步地在各個(gè)領(lǐng)域中展開應(yīng)用，尤其是癲癇疾病涉及情緒障礙或者情緒相關(guān)的認(rèn)知障礙，癲癇患者在住院監(jiān)護(hù)期間的情緒異常表現(xiàn)應(yīng)該引起醫(yī)護(hù)人員的重視。這類人群的情緒識(shí)別僅僅通過面部表情識(shí)別并不一定可以得到準(zhǔn)確的識(shí)別結(jié)果。此外，視頻腦電圖系統(tǒng)目前已廣泛應(yīng)用于醫(yī)院神經(jīng)外科的臨床監(jiān)護(hù)，其數(shù)字視頻系統(tǒng)能記錄和查看患者的圖像視頻和與聲音同步的腦電波形，然而長(zhǎng)時(shí)間的視頻腦電記錄僅供醫(yī)療工作者不定時(shí)查看和研究，醫(yī)生對(duì)于患者異常表現(xiàn)通常不能及時(shí)知曉。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問題，提供一種基于視頻腦電信號(hào)的情緒識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

一種基于視頻腦電信號(hào)的情緒識(shí)別方法，所述方法包括：

在情緒誘發(fā)實(shí)驗(yàn)中同步采集訓(xùn)練所需的視頻數(shù)據(jù)和腦電數(shù)據(jù)；

根據(jù)患者的自我評(píng)估結(jié)果分別將對(duì)應(yīng)的視頻數(shù)據(jù)和腦電數(shù)據(jù)打上對(duì)應(yīng)的情緒標(biāo)簽，并對(duì)所述腦電數(shù)據(jù)進(jìn)行預(yù)處理；

通過所述視頻數(shù)據(jù)和腦電數(shù)據(jù)分別對(duì)CNN網(wǎng)絡(luò)和ShallowConvNet網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練得到訓(xùn)練好的面部表情識(shí)別模型和腦電情緒識(shí)別模型；

通過所述訓(xùn)練好的面部表情識(shí)別模型和腦電情緒識(shí)別模型分別對(duì)患者的日常視頻監(jiān)控?cái)?shù)據(jù)進(jìn)行情緒識(shí)別；

當(dāng)所述面部表情識(shí)別模型的識(shí)別結(jié)果和腦電情緒識(shí)別模型的識(shí)別結(jié)果的一致性達(dá)到預(yù)設(shè)的閾值時(shí)，則可作為最終的情緒識(shí)別結(jié)果。

在其中一個(gè)實(shí)施例中，所述在情緒誘發(fā)實(shí)驗(yàn)中同步采集訓(xùn)練所需的視頻數(shù)據(jù)和腦電數(shù)據(jù)的步驟還包括：

選取能誘發(fā)出患者恐懼、悲傷和中性情緒的視頻片段，并將所述視頻片段編寫成刺激呈現(xiàn)程序；

待患者插上電極后觀看多個(gè)不同的視頻片段，同步采集患者觀看視頻片段時(shí)的視頻數(shù)據(jù)和腦電數(shù)據(jù)；

在每個(gè)片段結(jié)束后選擇對(duì)應(yīng)的情緒標(biāo)簽，并將患者選擇的情緒標(biāo)簽記錄在對(duì)應(yīng)的視頻片段中。

在其中一個(gè)實(shí)施例中，所述對(duì)所述腦電數(shù)據(jù)進(jìn)行預(yù)處理的步驟還包括：

對(duì)腦電信號(hào)進(jìn)行降采樣；

選取與恐懼悲傷情緒相關(guān)的杏仁核、右側(cè)顳極，以及與其他情緒相關(guān)的腦島、眶額皮質(zhì)和扣帶前回皮質(zhì)腦區(qū)部位通過電極進(jìn)行腦電采集；

采用50Hz、100Hz的陷波進(jìn)行濾波，采用0.5～120Hz的帶通進(jìn)行濾波；

使用EEGLAB的眼電干擾和肌電偽跡干擾去除功能去除眼電和肌電。