[發明專利]一種可穿戴眼動和面部表情同步采集系統

在審

• 申請號: 202110526658.6
• 申請日: 2021-05-14
• 公開（公告）號: CN113413154A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 胡斌;楊民強;彭宏;蔡涵書;唐隆喆
• 申請（專利權）人: 蘭州大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/18;A61B5/00;G06K9/00
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 郭楚媛

本發明公開了一種可穿戴眼動和面部表情同步采集設備及系統，屬于心理學和情感計算技術領域。一種可穿戴眼動和面部表情的同步采集系統，主要包括同步采集系統模塊、耳掛式托架模塊、圖像采集模塊和識別算法模塊，本發明創新設計了采集設備的結構和攝像頭硬件，結構上避免面部關鍵區域的遮擋；通過在眼動攝像頭引入紅外補光和濾光技術，使瞳孔邊緣更清晰；設計新型瞳孔識別算法FILSAC，能更精確的識別瞳孔區域并標記注視點；基于實時操作系統，設計微秒級延遲的同步機制，實現眼動圖像和表情圖像的嚴格同步。

技術領域

本發明涉及心理學和情感計算技術領域，尤其涉及一種可穿戴眼動和面部表情同步采集系統。

背景技術

眼動和表情作為人們一種自發的行為，可以直接或間接地反映被試當前的心理狀態。眼動分析儀作為眼動行為的重要測量儀器，常用于心理學領域,在心理學實驗中的應用主要是通過對眼睛活動的精確描述來推斷其所反映的認知活動。其中主要從三個方面來描述人類的眼動行為：注視點，即人眼停頓下來注視某一點；掃視，即人眼從一個注視點往下一個注視點的運動過程；瞳孔大小。這種非侵入式設備能夠方便的進行數據采集，操作方便。表情是一種快速的，不易察覺的表情，可以表達了真實的情感和意圖，表情和眼動的融合分析可以捕獲多模態數據的模態表示和跨模態互補相關性。而融合分析的時間同步十分重要的。人的眼動行為在毫秒級就可以完成的，表情變化微弱且迅速。精確的時間同步是多模融合分析的前提。

眼動表情融合分析逐漸應用在各個領域，在檢測疲勞中，通過觀察駕駛員的眼動行為和表情變化，可以判斷其是否處于疲勞狀態。在臨床中，眼動儀可以作為一種診斷的工具，通過測試病人眼動的功能來診斷相應的精神疾病。在焦慮、抑郁、孤獨癥等精神障礙診斷和研究中，研究者通過心理學刺激范式或認知任務下被試的眼動指標和表情變化，對其精神狀態做客觀量化的評估。

發明內容

本發明提供了一種可穿戴眼動和面部表情的同步采集系統，設計開發了精確測量眼動指標的可穿戴眼動儀，該眼動儀對面部關鍵區域無遮擋；發明了新型瞳孔識別算法，并且能夠實時精確的識別瞳孔的邊緣與中心點；基于實時操作系統，設計微秒級延遲的同步機制，實現眼動和表情的嚴格同步。

為了實現上述目的，本發明采用了如下技術方案：

一種可穿戴眼動和面部表情同步采集系統，包括有同步采集系統模塊、耳掛式托架模塊、圖像采集模塊和識別算法模塊；

所述同步采集系統模塊設計有實時同步機制，采用內存文件系統；

所述耳掛式托架模塊包括包括有一種可穿戴眼動和面部表情同步采集設備，所述一種可穿戴眼動和面部表情同步采集設備包括有3D打印支架，所述3D打印支架上連接有攝像裝置；

所述圖像采集模塊包括有表情攝像頭子模塊、眼動攝像頭子模塊和前景攝像頭子模塊；

所述識別算法模塊包括有圖像去噪技術子模塊、腐蝕邊緣檢測子模塊和瞳孔分割子模塊。

優選地，所述同步采集系統模塊包括有實時進程子模塊和非實時進程子模塊，所述同步采集系統模塊上還鏈接有進程預加載單元、實時同步信號單元和多處理器單元。

優選地，所述3D打印支架采用彈性尼龍材質制成，所述3D打印支架包括有耳掛支架、延長臂和后方支架，所述后方支架設計為半環狀，所述耳掛支架固定連接在后方支架的開口末端上側，所述耳掛支架與人體耳廓相匹配，所述延長臂固定連接在后方支架的開口末端下側；所述攝像裝置包括有前景攝像頭和眼動攝像頭，所述前景攝像頭固定連接在右側耳掛支架前端，所述眼動攝像頭轉動連接在延長臂遠離后方支架一端上，所述眼動攝像頭設置有兩個。

優選地，所述表情攝像頭子模塊、眼動攝像頭子模塊和前景攝像頭子模塊上分別鏈接有表情圖像采集單元、眼動圖像采集單元和前景圖像采集單元，所述眼動圖像采集單元上還鏈接有紅外補光處理單元和濾光處理單元。