[發明專利]一種用于游戲評估的基于腦電信號的情感識別方法

有效

• 申請號: 202010239163.0
• 申請日: 2020-03-30
• 公開（公告）號: CN111461204B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 杜廣龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F18/2431
• 分類號: G06F18/2431;G06F18/213;G06N3/045;G06N3/043;G06N3/044;G06N3/0464;G06N3/084;A61B5/374;A61B5/00;A61B5/16;G06F123/02
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種用于游戲評估的基于腦電信號的情感識別方法，包括以下步驟：首先，在輸入的將腦電波數據中添加高斯白噪聲，作為有噪聲的輸入樣本。然后，使用卷積神經網絡，捕獲來自不同通道的腦電信號之間的空間特征，并且消除腦電信號中的噪聲，從而有效提高了游戲情感識別中的準確性和抗噪性能。接著，使用模糊神經網絡有效地提取了玩家不同情感狀態的隸屬度，從而進一步提高了情緒識別的準確性。由于在整個游戲過程中玩家的當前情緒狀態會受到先前情緒狀態的影響，因此循環神經網絡用于捕獲腦電波信號的時間特征，更好地提高情緒識別的準確性。并通過參數學習和結構學習進行神經網絡參數調整和結構調整。

技術領域

本發明屬于情感識別領域，特別涉及一種用于游戲評估的基于腦電信號的情感識別方法。

背景技術

由于電腦游戲能夠以一種吸引人的方式顯示各種信息，如視覺和聲音，它在許多領域吸引了越來越多的用戶，如娛樂、教育和培訓。同時，游戲給予玩家豐富的情感體驗，如樂趣和幸福。近年來，情感計算對于計算機理解人的情感起著至關重要的作用，它可以增加人機交互的情感體驗。此外，有些游戲的設計是基于玩家所做的選擇來改變劇情線，因為玩家的情緒狀態可以推斷出他/她的選擇。為了提高游戲的質量和價值，有必要對游戲進行評價。然而，游戲評價需要得到玩家情緒狀態的反饋。為此，游戲用戶的自動情感識別是至關重要的。游戲可以激發玩家豐富而復雜的情緒狀態，如焦慮、沮喪、投入、痛苦程度以及激發斗志的空間。然而，由于不同的人總是存在個體的情感差異，因此情感識別的研究面臨著一定的困難。

迄今為止已提出了不少用于游戲評估的情感識別模型，且基本能夠滿足情感識別的需要，但仍有很多問題亟待解決或值得進一步研究。目前用于游戲評估的情感識別方法大都是基于面部表情或者語音來進行識別的。第一，基于面部表情的情感識別方法存在一個問題：人們的面部表情可能具有欺騙性。有時，面部表情不能表達他們的真實情感，這就導致游戲評估環節存在偏差甚至出錯。第二，使用語音數據來進行情感識別要比使用腦電波等中央神經系統的生理數據的準確率低，并且當人們沉默時語音識別情感的方法失效。關于認知理論的研究表明，人類的情感與人腦有著極其密切的聯系，通過使用腦電波的數據，玩家游戲過程中的真實情感的識別準確率會有較大提升。

在一些的場景中(例如，低質量的設備和嘈雜的外部環境)，沒有很好地研究噪聲對這些模型準確性的影響，這將限制模型的預測精度。FNN空間激活層函數的激活性能不夠平滑，限制了其特征提取的能力。即對于傳統的FNN，使用更大的特征維數并不能顯著提高模型預測的精度。因此，許多模糊神經網絡分類器的預測精度有限。

發明內容

本發明的目的是為了解決上述現有技術存在的缺陷，提出了一種新的神經網絡框架，即卷積平滑反饋模糊網絡(CSFFN)，用于游戲評估的情感識別。CSFFN將三個子網合理組合：卷積神經網絡(CNN)，模糊神經網絡(FNN)和循環神經網絡(RNN)。根據腦電圖(EEG)信號在游戲過程中檢測玩家的情緒狀態。CNN不僅可以捕獲來自不同通道的腦電信號之間的空間特征，而且可以消除腦電信號中的噪聲，從而有效提高了游戲情感識別中的準確性和抗噪性能。FNN有效地提取了玩家不同情緒狀態的隸屬度，從而進一步提高了情緒識別的準確性。由于在整個游戲過程中玩家的當前情緒狀態會受到先前情緒狀態的影響，因此RNN用于捕獲EEG信號的時間特征，從而更好地提高了情緒識別的準確性。

本發明目的至少通過以下技術方案之一實現。

一種用于游戲評估的基于腦電信號的情感識別方法，包括以下步驟：

S1、將腦電波各通道數據分別添加高斯白噪聲，作為有噪聲的輸入樣本；

S2、構建基于卷積神經網絡CNN框架的空間特征提取網絡提取腦電波的空間特征，同時CNN對空間特征進行去噪；

S3、將CNN提取的空間特征輸入模糊神經網絡，提取和分析情感的模糊特征；

S4、使用循環神經網絡RNN分析時間序列信息，用于捕獲EEG信號的時間特征，并且最后輸出情感狀態類別；