[發(fā)明專利]一種基于腦-機協(xié)同智能的表情識別方法

有效

• 申請?zhí)枺?/td>: 201910261637.9
• 申請日: 2019-04-02
• 公開（公告）號: CN110135244B
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 孔萬增;隆燕芳;凌文芬
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發(fā)明涉及一種基于腦?機協(xié)同智能的表情識別方法。本發(fā)明主要采用兩層卷積神經(jīng)網(wǎng)絡(luò)提取人臉表情的圖像視覺特征，以及多個門控循環(huán)單元提取觀看表情時誘發(fā)的腦電情感特征，并通過隨機森林回歸模型建立兩種特征之間的映射關(guān)系，最后采用K?近鄰分類器對回歸模型得到的預(yù)測腦電情感特征進行表情的分類。本發(fā)明包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、圖像視覺特征提取、腦電情感特征提取、特征映射和表情分類。表情分類結(jié)果表明：采用預(yù)測的腦電情感特征得到了較好的分類結(jié)果。與傳統(tǒng)的圖像視覺方法相比，基于腦?機協(xié)同智能的表情識別，是一種很有前景的情感計算方法。

技術(shù)領(lǐng)域

本發(fā)明屬于情感計算領(lǐng)域中的表情識別領(lǐng)域，具體涉及一種基于腦-機協(xié)同智能的表情識別方法。

背景技術(shù)

一般來說，我們使用面部表情，身體姿勢和聲音音調(diào)來推斷某人的情緒狀態(tài)(如喜悅，悲傷和憤怒等)。就承載情感意義而言，面部表情是日常交流中主要的信息來源，它也是人機交互系統(tǒng)(HCIS)中的關(guān)鍵組成部分，如何有效地進行表情識別已經(jīng)成為一個重要課題。

目前，面部表情識別(FER)方法主要從人類視覺角度出發(fā)，利用計算機技術(shù)從面部圖像中提取相關(guān)特征來區(qū)分不同的表情，根據(jù)特征是人工設(shè)計還是神經(jīng)網(wǎng)絡(luò)生成可以分為兩大類。

第一類是傳統(tǒng)的表情識別方法。該類方法首先檢測出人臉，然后通過提取幾何特征、統(tǒng)計特征、頻率域特征和運動特征等表情特征，最后采用支持向量機(SVM)，K-近鄰(KNN)和Adaboost算法等對提取的特征進行分類，從而完成表情的識別。但這些特征易受外界因素(主要是光照、角度、復(fù)雜背景等)干擾，丟失一些重要的識別和分類信息，導(dǎo)致結(jié)果的精確性不高。

第二類是基于深度學(xué)習(xí)技術(shù)的表情識別方法。近年來，深度學(xué)習(xí)技術(shù)取得了突破性進展且在計算機視覺領(lǐng)域得到廣泛應(yīng)用。深度學(xué)習(xí)模型能對數(shù)據(jù)進行有效的特征提取，這是許多傳統(tǒng)的機器學(xué)習(xí)模型所達不到的。因此，將深度學(xué)習(xí)引入到表情識別，可以使計算機深度理解人臉表情圖像的表達意義。目前，大部分學(xué)者利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)表情識別。Liu等人提出了構(gòu)建一個深度網(wǎng)絡(luò)AUDN，它利用面部動作編碼系統(tǒng)(FACS)的面部動作單元AU為特征，用卷積神經(jīng)網(wǎng)絡(luò)與多層受限制玻爾茲曼機進行特征提取，最后用支持向量機(SVM)做表情分類器。Mollahosseini等人提出了一個更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，由兩個卷積層組成，每個卷積層后面連接一個最大池，然后是四個Inception層，該模型在多個標準人臉數(shù)據(jù)集上取得了可觀的效果。

通常，增加隱含層的層數(shù)可以增強網(wǎng)絡(luò)的學(xué)習(xí)能力，使得學(xué)習(xí)到的特征更加貼近物體本身。但是，多層網(wǎng)絡(luò)訓(xùn)練時間會增加，訓(xùn)練難度也會隨之加大。同時，對訓(xùn)練樣本的規(guī)模和多樣性的要求也會變高，否則模型過擬合也會導(dǎo)致識別結(jié)果不理想。

事實上，人類對表情的識別幾乎不需要訓(xùn)練，而且可以做到在有限的樣本集上獲得可靠的識別結(jié)果。研究表明，基于視聽覺刺激誘發(fā)的生理信號(腦電信號、肌電信號、血壓、心率和呼吸等)與情感語義存在隱含關(guān)系。其中，腦電信號中包含了大量的情感信息，這些信息在大腦皮層的不同區(qū)域隨著情緒的變化而變化，具有高級的情感表達和良好的可分性。據(jù)此，本發(fā)明創(chuàng)新地提出了基于腦-機協(xié)同智能的表情識別方法，通過表情誘發(fā)的腦電信號與計算機技術(shù)捕捉到的視覺信息來實現(xiàn)表情的分類。它的意義在于利用人類的真實情感來提高機器在情感學(xué)習(xí)上的有效性，從而實現(xiàn)更人性化的情感計算。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了一種基于腦-機協(xié)同智能的表情識別方法。該方法是利用兩層卷積神經(jīng)網(wǎng)絡(luò)(Two-layer Convolutional Neural Network,TCNN)提取表情的圖像視覺特征，以及多個門控循環(huán)單元(Gated Recurrent Units,GRUs)提取腦電情感特征，采用隨機森林回歸模型建立圖像視覺特征與腦電情感特征之間的映射關(guān)系，并通過K-近鄰分類器對得到的預(yù)測腦電特征進行分類，從而完成表情的自動識別。

本發(fā)明所采用的技術(shù)方案：

1.獲取數(shù)據(jù)：