[發明專利]情緒識別方法及系統、及應用該方法的智能看護系統

在審

• 申請號: 201710533416.3
• 申請日: 2017-07-03
• 公開（公告）號: CN107463874A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 潘家輝;黃泳銳;梁志鵬;楊健豪;吳美香
• 申請（專利權）人: 華南師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;A61B5/16
• 代理公司: 廣州駿思知識產權代理有限公司44425
• 代理人: 吳靜芝

1.一種情緒識別方法，適于在計算設備中執行，其特征在于：該方法包括以下步驟：

獲取同一時刻或同一時間段內的被測人臉圖像和腦電信號；

對被測人臉圖像和腦電信號分別處理，分別得到表情參數值和內心情緒參數值；

對表情參數值和內心情緒參數值進行數據融合處理，得到情緒融合參數值；

根據情緒融合參數值于預存的情緒融合數據庫中識別被測人臉的當前情緒，得到情緒信息。

2.根據權利要求1所述的情緒識別方法，其特征在于：所述步驟獲取同一時刻或同一時間段內的被測人臉圖像和腦電信號，其中，被測人臉圖像的獲取包括以下步驟：

調用攝像設備，并控制攝像設備的攝像頭朝向被測人體正面；

通過攝像設備獲取人體正面圖像；

顯示人體正面圖像，并于人體正面圖像中生成人臉檢測框；

通過人臉檢測框實時檢測并確定人體正面圖像中的人臉位置，得到被測人臉圖像；

以及，腦電信號的獲取包括以下步驟：

調用腦電提取設備；

通過腦電提取設備獲取被測人體的腦電信號。

3.根據權利要求2所述的情緒識別方法，其特征在于：在所述步驟獲取同一時刻或同一時間段內的被測人臉圖像和腦電信號中，在每天內，每隔時間T1獲取一次被測人臉圖像，及在獲取被測人臉圖像的同時每隔時間T2獲取一次腦電信號，并根據時間順序將每次獲取的被測人臉圖像和腦電信號保存至一初始數據庫；所述初始數據庫記錄有被測人臉圖像及其獲取時間、腦電信號及其獲取時間；

當需要獲取同一時刻或同段時間內的被測人臉圖像和腦電信號時，調用所述初始數據庫，并于所述初始數據庫中獲取相應的被測人臉圖像和腦電信號。

4.根據權利要求2或3所述的情緒識別方法，其特征在于：所述步驟對被測人臉圖像和腦電信號分別處理，分別得到表情參數值和內心情緒參數值，其中，對被測人臉圖像的處理包括以下步驟：

對被測人臉圖像中進行灰度化處理，得到人臉灰度圖像；

對人臉灰度圖像進行特征提取，得到表情原始特征數據；

對表情原始特征數據進行離散余弦變換處理，而后通過主成分分析進行數據降維，得到表情特征值；

將所述表情特征值輸入預先訓練好的卷積神經網絡，計算得到表情參數值；

以及，對腦電信號的處理包括以下步驟：

對腦電信號依次進行特征標準化和特征歸一化處理，得到腦電特征值；

通過預先訓練好的SVM分類器對所述腦電特征值進行特征分類，得到內心情緒參數值。

5.根據權利要求4所述的情緒識別方法，其特征在于：所述步驟對表情原始特征數據進行離散余弦變換處理，而后通過主成分分析進行數據降維，得到表情特征值；其中的步驟通過主成分分析進行數據降維，得到表情特征值，包括以下步驟：

B1：通過離散余弦變換處理后的表情原始特征數據為一個M×N矩陣E₀，其中，M為樣本數目，N表示每個樣本的數據維數；

B2：對所述矩陣E₀進行樣本矩陣中心化處理：

B21：分別計算并記錄每一維數的所有樣本數據的均值其中，1≤n≤N；

B22：對所述矩陣E₀中的每一維上的每一數據Xmn重新賦值，即其中，1≤m≤M；

B23：判斷每一維數的所有樣本數據的均值是否為0，是則保存當前矩陣E，并執行步驟B3，否則，返回步驟B21；

B3：計算并得到矩陣E的協方差矩陣；

B4：計算協方差矩陣的特征值和特征向量，得到N個特征值和與所述N個特征值一一對應的N個特征向量，并根據N個特征值將與其對應的特征向量從大到小依序排列，形成N×N矩陣，并于所述N×N矩陣中選取其前k列數據，組成一N×k的降維矩陣；

B5：將所述矩陣E₀與所述N×k的降維矩陣相乘得到一M×k的降維矩陣，實現對表情原始特征數據的降維，得到表情特征值，所述表情特征值為所述M×k的降維矩陣。

6.根據權利要求4所述的情緒識別方法，其特征在于：在所述步驟對被測人臉圖像和腦電信號分別處理，分別得到表情參數值和內心情緒參數值之前，還包括步驟：監聽人臉檢測框內是否有信號輸入，是則才對被測人臉圖像和腦電信號分別處理，否則繼續監聽人臉檢測框內是否有信號輸入。