[發明專利]基于圖像視覺認知的心理測評數據獲取方法及VR系統

有效

• 申請號: 202210154330.0
• 申請日: 2022-02-21
• 公開（公告）號: CN114209324B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 王榮全;馬惠敏;王慧薇;沈睿哲
• 申請（專利權）人: 北京科技大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B3/113;A61B3/11;A61B5/00
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于圖像視覺認知的心理狀態數據分析VR系統，其特征在于，包括：

實驗范式呈現模塊，用于向測試者呈現測試圖像；

VR端數據采集模塊，用于采集測試者的原始眼動數據和瞳孔數據，將所述原始眼動數據和瞳孔數據上傳至多終端PC管理模塊；

心理狀態數據分析模塊，用于將所述VR端數據采集模塊采集到的原始眼動數據和瞳孔數據分別進行預處理和分析，提取測試者的眼動特征；選擇融合眼動特征和瞳孔特征的支持向量機模型SVM作為分類器，將所述眼動特征通過預設模型算法進行分析，得到測試者的心理狀態分析結果；

所述心理狀態數據分析模塊，包括：

數據分析與預處理子模塊，用于對眼動軌跡信息進行重采樣、模擬眼動速度填補缺失值、坐標-位置-情緒屬性映射、位置跳變比較后平滑以及注視點識別；對瞳孔信息的采樣點不均問題進行重采樣處理；針對眨眼導致數據缺失問題進行檢測并刪除；針對VR設備采樣導致的缺失值進行直徑插值填補缺失值；針對左右眼孔徑值不一致的問題進行雙眼信號一致化；針對信號的毛刺與抖動問題采用滑動平均法進行平滑處理；針對測試者瞳孔孔徑的個體差異問題采用基線校準方法進行校準；

特征提取子模塊，用于對預處理后的所述眼動軌跡信息以及瞳孔信息，基于注意偏向理論，提取自由觀看階段的基礎眼動特征和注意框跟蹤階段的基礎眼動特征；針對預處理后的眼動數據，基于注意偏向理論，分別提取了自由觀看階段的7個基礎心理特征和注意框跟蹤階段的2個基礎心理特征；針對預處理后的瞳孔數據，基于瞳孔的光反射和情緒反應特性，分別提取了光反射的3個基礎特征和情緒反應的2個基礎心理特征；

其中，自由觀看階段的7個基礎心理特征包括：對某情緒圖像的總瀏覽時長Totalglance time、一次瀏覽某情緒圖像的時長Glance duration、首次瀏覽某情緒圖像的時長First glance time、一個注視點的持續時間Fixation time、某情緒圖像注視點數目Fixation numbers、首次注視的情緒圖像的類型First fixation type、掃視軌跡的長度Length of saccade；注意框跟蹤階段的2個基礎心理特征包括：從起始圖像轉移到目標圖像的注意轉移時間Reaction time、從起始圖像轉移到目標圖像的注意轉移速度Reactionspeed；光反射的3個基礎特征包括：瞳孔基準值PBD、瞳孔對光反射潛伏期PCL、瞳孔光反射收縮速度PCV；情緒反應的2個基礎心理特征包括：孔徑秩ROD以及孔徑相對值PRV；孔徑秩ROD表示在各類型情緒圖像或各位置上的孔徑秩數；

特征篩選子模塊，用于根據提取出的所述眼動軌跡信息以及瞳孔信息的特征篩選出測試者的眼動狀態評估特征；

多終端PC管理模塊，用于對所述實驗范式呈現模塊、所述VR端數據采集模塊以及所述心理狀態數據分析模塊進行管控。

2.根據權利要求1所述基于圖像視覺認知的心理狀態數據分析VR系統，其特征在于，所述實驗范式呈現模塊，包括：

語音提示子模塊，用于在測試任務開始之前，以文字和語音的形式向測試者說明實驗流程及測試者需要做的任務；

瞳孔修正子模塊，用于在暗背景的環境下向測試者展示校準內容，對測試者的瞳孔位置進行校準；

自由觀看子模塊，用于在暗背景的環境下向測試者展示測試內容，所述測試內容包括三張不同情緒圖像；

注意框跟蹤子模塊，用于通過注意框隨機鎖定所述三張不同情緒圖像的其中一張。

3.根據權利要求2所述的基于圖像視覺認知的心理狀態數據分析VR系統，其特征在于，所述三張不同情緒的圖像的位置關系為等腰三角形。

4.根據權利要求2所述的基于圖像視覺認知的心理狀態數據分析VR系統，其特征在于，所述注意框跟蹤子模塊，還用于檢測測試者的注意力停留在注意框所在圖像上的時長，當時長達到預設值，注意框轉移并鎖定下一張圖像；否則繼續停留在當前圖像上。