[發(fā)明專利]基于虛擬現(xiàn)實(shí)仿真采集的情緒分級識(shí)別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310530922.2
• 申請日: 2023-05-11
• 公開（公告）號: CN116522280A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 雷鳴;劉建曦
• 申請（專利權(quán)）人: 深圳市恒必達(dá)電子科技有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F3/01;G06V40/16;G06V40/18
• 代理公司: 廣東柏權(quán)維知識(shí)產(chǎn)權(quán)代理有限公司 44898
• 代理人: 陳燕妹

1.一種基于虛擬現(xiàn)實(shí)仿真采集的情緒分級識(shí)別方法，其特征在于，所述情緒分級識(shí)別方法包括：

針對待識(shí)別人員進(jìn)行虛擬現(xiàn)實(shí)仿真演示，并在虛擬現(xiàn)實(shí)仿真演示過程針對待識(shí)別人員進(jìn)行信息采集，獲取待識(shí)別人員在虛擬現(xiàn)實(shí)仿真演示過程中的眼部變化、嘴部表情變化和腦電波變化，得到眼部采集信息、嘴部采集信息和腦電波采集信息；

針對到眼部采集信息、嘴部采集信息和腦電波采集信息分別進(jìn)行眼球參數(shù)分析、表情變化分析和電波紋路分析，得到第一采集分析結(jié)果、第二采集分析結(jié)果和第三采集分析結(jié)果；

根據(jù)第一采集分析結(jié)果、第二采集分析結(jié)果和第三采集分析結(jié)果確定情緒等級，得到情緒分級識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的情緒分級識(shí)別方法，其特征在于，所述針對待識(shí)別人員進(jìn)行虛擬現(xiàn)實(shí)仿真演示時(shí)，采用虛擬現(xiàn)實(shí)設(shè)備營造仿真環(huán)境，將虛擬現(xiàn)實(shí)設(shè)備佩戴到待識(shí)別人員頭部，并獲取虛擬現(xiàn)實(shí)設(shè)備與待識(shí)別人員之間的接觸面積和接觸感應(yīng)數(shù)據(jù)進(jìn)行佩戴檢測，當(dāng)接觸面積達(dá)到第一閾值且接觸感應(yīng)數(shù)據(jù)達(dá)到第二閾值時(shí)，待識(shí)別人員佩戴完成，否則針對虛擬現(xiàn)實(shí)設(shè)備進(jìn)行頭頂帶伸縮調(diào)節(jié)，直至接觸面積達(dá)到第一閾值且接觸感應(yīng)數(shù)據(jù)達(dá)到第二閾值。

3.根據(jù)權(quán)利要求2所述的情緒分級識(shí)別方法，其特征在于，所述虛擬現(xiàn)實(shí)設(shè)備包括：第一采集模塊、第一采集輔佐模塊、第二采集模塊、第二采集輔佐模塊和第三采集模塊；所述第一采集模塊采用第一圖像攝像裝置針對待識(shí)別人員的眼睛所在區(qū)域進(jìn)行圖像采集；所述第一采集輔佐模塊利用補(bǔ)光燈在第一采集模塊采用第一圖像攝像裝置針對待識(shí)別人員的眼睛所在區(qū)域進(jìn)行圖像采集過程中進(jìn)行補(bǔ)光；所述第二采集模塊采用第二圖像攝像裝置針對待識(shí)別人員的嘴所在區(qū)域進(jìn)行圖像采集；所述第二采集輔佐模塊利用補(bǔ)光燈在第二采集模塊采用第二圖像攝像裝置針對待識(shí)別人員的嘴所在區(qū)域進(jìn)行圖像采集過程中進(jìn)行燈光調(diào)整；所述第三采集模塊分布多個(gè)采集點(diǎn)針對待識(shí)別人員進(jìn)行腦電波信號采集。

4.根據(jù)權(quán)利要求3所述的情緒分級識(shí)別方法，其特征在于，所述第三采集模塊在確定采集點(diǎn)時(shí)針對待檢測人員進(jìn)行頭部分析，確定頭部關(guān)鍵位置，并在頭部關(guān)鍵位置上布置電極，所述頭部關(guān)鍵位置包括：臉頰、額頭、頭頂和左右耳后。

5.根據(jù)權(quán)利要求4所述的情緒分級識(shí)別方法，其特征在于，針對眼部采集信息、嘴部采集信息和腦電波采集信息分別進(jìn)行眼球參數(shù)分析、表情變化分析和電波紋路分析之前預(yù)先針對眼球參數(shù)分析、表情變化分析和電波紋路分析分別建立第一分析模型、第二分析模型和第三分析模型，并將第一分析模型、第二分析模型和第三分析模型存儲(chǔ)到算法庫中，當(dāng)針對眼部采集信息、嘴部采集信息和腦電波采集信息分別進(jìn)行眼球參數(shù)分析、表情變化分析和電波紋路分析時(shí)，根據(jù)分析的目標(biāo)在算法庫中調(diào)取對應(yīng)的模型進(jìn)行分析，得到對應(yīng)的采集分析結(jié)果。

6.根據(jù)權(quán)利要求5所述的情緒分級識(shí)別方法，其特征在于，所述第一分析模型，包括：

針對眼部采集圖像進(jìn)行圖像預(yù)處理，獲取預(yù)處理后的眼部采集圖像；

在預(yù)處理后的眼部采集圖像中劃分出眼睛部分的輪廓，并針對眼睛部分的輪廓中構(gòu)建眼睛部位坐標(biāo)系；

基于眼睛部位坐標(biāo)系進(jìn)行眼球采集圖像校正，得到校正處理后的眼球采集圖像；

參照眼睛部位坐標(biāo)系針對校正處理后的眼球采集圖像進(jìn)行眼球位置識(shí)別，獲取眼球位置信息，得到眼球?qū)崟r(shí)變化信息；

分析眼球?qū)崟r(shí)變化信息的變化情況，確定眼球偏移量和聚焦停留時(shí)間，得到第一采集分析結(jié)果。

7.根據(jù)權(quán)利要求5所述的情緒分級識(shí)別方法，其特征在于，所述第二分析模型，包括：

針對嘴部采集圖像進(jìn)行嘴部特征點(diǎn)識(shí)別，利用嘴唇平均模型在嘴部采集圖像中識(shí)別嘴唇特征點(diǎn)；

根據(jù)嘴唇特征點(diǎn)在面部采集圖像進(jìn)行嘴唇輪廓鎖定，得到嘴部采集圖像中實(shí)時(shí)嘴唇識(shí)別信息；

在實(shí)時(shí)嘴唇識(shí)別信息中針對嘴唇特征點(diǎn)進(jìn)行向量分析，并計(jì)算嘴唇張開程度和左右嘴角變化數(shù)據(jù)；

將嘴部采集圖像的每一幀中嘴唇張開程度和左右嘴角變化數(shù)據(jù)結(jié)合在一起分析嘴部變化情況，得到第二識(shí)別結(jié)果。