[發明專利]基于情緒的操控工效分析方法、設備及系統

有效

• 申請號: 202011023966.9
• 申請日: 2020-09-25
• 公開（公告）號: CN112256124B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李小俚;趙小川;姚群力;顧恒;丁兆環;張昊;柳傳財;張予川
• 申請（專利權）人: 北京師范大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06Q10/06;A61B5/00;A61B5/24;A61B5/369;A61B5/16
• 代理公司: 北京博雅睿泉專利代理事務所(特殊普通合伙) 11442
• 代理人: 吳秀娥

1.一種基于情緒的操控工效分析方法，包括：

獲取操控選手操控目標對象執行目標任務產生的生理信息數據；

將所述生理信息數據輸入預置的情緒識別模型，獲得所述操控選手對于情緒評價指標的評分；其中，所述情緒識別模型反映操控行為數據和生理信息數據與情緒評價指標的評分之間的映射關系；

根據所述操控選手對于所述情緒評價指標的評分，獲得所述操控選手的操控評分；

根據所述操控評分，執行設定的操作，

其中，所述生理信息數據包括面部視頻信號；

所述將所述生理信息數據輸入預置的情緒識別模型，獲得所述操控選手對于所述情緒評價指標的評分包括：

獲取當前視頻采樣間隔；

基于所述當前視頻采樣間隔，對所述面部視頻信號進行采樣，得到當前幀視頻圖像；

確定所述當前幀視頻圖像與對應的前一幀視頻圖像之間的表情相似度；其中，所述前一幀視頻圖像為在前一次對所述面部視頻信號進行采樣所得到的一幀視頻圖像；

根據所述表情相似度確定所述當前幀視頻圖像的情緒識別結果；

根據對所述面部視頻信號采樣得到的視頻圖像的情緒識別結果，得到所述操控選手對于所述情緒評價指標的評分，

其中，所述方法還包括：

在所述表情相似度小于或等于相似度閾值的情況下，根據所述表情相似度確定下一次對所述面部視頻信號進行采樣的下一視頻采樣間隔，其中，相鄰兩幀圖像的表情相似度越小，則所述相鄰兩幀圖像越相似，

其中，通過如下公式來確定所述當前視頻采樣間隔Num_skip：

其中，sim_ff為前兩幀視頻圖像的表情相似度，Λ為預設的采樣間隔的上限；λ為預設的采樣間隔的下限；θ_ff為相似度閾值，

所述方法還包括確定所述相似度閾值的步驟，包括：

獲取所述操控選手的參考面部視頻信號；

確定所述參考面部視頻信號中每兩幀相鄰的視頻圖像的表情相似度；

根據每兩幀相鄰的視頻圖像的表情相似度確定所述相似度閾值；

在所述表情相似度大于所述相似度閾值的情況下，隨機生成下一次對所述面部視頻信號進行采樣的下一視頻采樣間隔；其中，所述下一視頻采樣間隔小于等于預設的最大采樣間隔、且大于等于最小采樣間隔。

2.根據權利要求1所述的方法，其中，所述生理信息數據包括腦電信號；

所述將所述生理信息數據輸入預置的情緒識別模型，獲得所述操控選手對于所述情緒評價指標的評分包括：

對所述腦電信號進行小波包變換處理，得到腦電時頻特征；

基于預置的第一深度卷積神經網絡，從所述腦電時頻特征中獲取腦電情感特征向量的向量值；

基于預置的第一分類器，根據所述腦電情感特征向量的向量值得到所述操控選手對于所述情緒評價指標的評分。

3.根據權利要求1所述的方法，其中，所述確定所述當前幀視頻圖像與對應的前一幀視頻圖像之間的表情相似度包括：

獲取所述當前幀視頻圖像的表情特征向量的向量值；

基于預置的卷積網絡，根據所述當前幀視頻圖像的表情特征向量的向量值和預存的所述前一幀視頻圖像的表情特征向量的向量值，確定所述當前幀視頻圖像與前一幀視頻圖像之間的表情相似度。

4.根據權利要求1所述的方法，其中，所述根據所述表情相似度確定所述當前幀視頻圖像的情緒識別結果包括：

在所述表情相似度小于或等于相似度閾值的情況下，將所述前一幀視頻圖像的情緒識別結果作為所述當前幀視頻圖像的情緒識別結果；

在所述表情相似度大于所述相似度閾值的情況下，基于預置的第二深度卷積神經網絡，獲取所述當前幀視頻圖像的人臉情感特征向量的向量值；并基于預置的第二分類器，根據所述當前幀視頻圖像的人臉情感特征向量的向量值，得到所述當前幀視頻圖像的情緒識別結果。