[發明專利]一種多模態生理和行為數據融合采集系統

在審

• 申請號: 201710482958.2
• 申請日: 2017-06-22
• 公開（公告）號: CN107137096A
• 公開（公告）日: 2017-09-08
• 發明（設計）人: 趙國朕
• 申請（專利權）人: 中國科學院心理研究所
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/11;A61B5/0205
• 代理公司: 北京東方芊悅知識產權代理事務所(普通合伙)11591
• 代理人: 彭秀麗

技術領域

本發明屬于實驗心理學與生理心理測量技術領域，具體涉及一種多模態生理和行為數據融合采集、分析、可視化的系統。

背景技術

人們的心理和情緒狀態有多種表現方式，如語言、表情、動作以及各種生理信號。單一的生理或行為參數或其特征指標很難準確反映人們的心理和情緒狀態變化，因此，基于多模態生理和行為信息的數據融合采集技術已被越來越廣泛地應用于心理學、人機交互、人工智能等領域。

目前，采集受試者的生理和行為數據時，需要使用到多個數據采集設備對不同的生理和行為數據進行同步采集。由于各個數據采集設備都具有獨立的數據采集和存儲系統，所采集到的數據分別記錄到自己對應的計算機存儲單元中，然后分別對各自采集的數據進行分析，最后將各個數據分析后的特征或者指標導入數據融合反饋系統中再進行融合分析。由于不同的數據采集設備都需要獨立的采集和存儲系統，采集的數據模態越多，投入的系統設備成本越大。此外，不同模態的數據之間可能會相互干擾，需要在原始數據的融合采集過程中進行相應的處理，而傳統的數據采集設備不能實現數據的融合采集，因此，會影響對受試者心理和情緒狀態分析的準確性。最后，很多的數據采集設備不支持數據的在線分析，因此無法基于實時采集的數據給出在線的分析結果。

發明內容

因此，本發明為了解決現有數據采集設備間無法在同一設備中實現數據的同步采集和融合分析的技術問題，為此，本發明提供了一種多模態生理和行為數據融合采集系統。

所采用的技術方案如下：

一種多模態生理和行為數據融合采集系統，所述系統包括后臺處理器和數據采集單元，所述后臺處理器集成于一臺計算機中，用于接收所述數據采集單元所采集的數據，所述數據采集單元包括:

生理采集模塊，與所述后臺處理器連接，用于采集受試者完成測試任務過程中所產生的神經生理數據；

行為采集模塊，與所述后臺處理器連接，用于采集受試者在完成測試任務過程中所產生的行為數據資料；

所述后臺處理器包括數據存儲模塊、時序模塊和數據分析模塊，所述數據存儲模塊與所述生理采集模塊和行為采集模塊實現數據連接，用于接收所采集到的生理數據和行為數據資料；所述時序模塊用于將所采集到的生理數據和行為數據按照時間順序存儲到所述的數據存儲模塊中；所述數據分析模塊用于對所述數據儲存模塊中的生理數據和行為數據資料進行分析，在線得出分析結果。

所述數據存儲模塊設有多個數據存儲區，所述數據存儲模塊對所述數據采集單元中的各種數據采集模塊所采集到的數據進行分類存儲，所述數據分析模塊對各數據進行同步在線分析。

所述系統還包括數據展示單元，其與所述后臺處理器連接，用于對外顯示所述數據采集單元的原始采集數據及所述后臺處理器的在線分析結果。

所述數據采集單元還包括環境采集模塊，用于采集受試者在測試時所處外部環境數據，其與所述后臺處理器實現數據連接。

所述生理采集模塊包括腦電數據采集設備、心電數據采集設備、皮膚電數據采集設備、血壓數據采集設備、呼吸數據采集設備、體溫數據采集設備和肌電數據采集設備中的一種和幾種。

所述的行為采集模塊為視頻采集設備，用于記錄受試者的面部表情、眼動和語音的行為數據。

所述系統中設有多個所述的數據采集單元，多個所述數據采集單元分別與同一所述后臺處理器實現數據傳輸。

所述行為采集模塊與所述生理采集模塊分別通過無線與所述后臺處理器實現數據傳輸。

所述系統中設有多個所述數據展示單元，所述數據展示單元與所述數據采集單元一一對應連接。

所述數據展示單元為視頻顯示設備。

本發明技術方案，具有如下優點：

A.本發明在采集系統中設置了后臺處理器和數據采集單元，數據采集單元中的生理采集模塊和行為采集模塊分別與同一后臺處理器形成數據連接，生理采集模塊與行為采集模塊所采集到的受試者的生理和行為數據直接傳輸到后臺處理器中的數據存儲模塊，大大降低了數據采集系統的成本。

B.本發明通過時序模塊將多模態數據實現在同一時間軸上的采集，并通過數據分析模塊對所有采集到的數據進行同步分析，提高了數據融合分析的效率；更重要的是，多種電生理信號在同步采集過程中相互之間會產生噪聲干擾；本發明在原始數據的融合采集過程中采用去燥、標準化和歸一化等數據預處理方法，可以有效去除數據間的噪聲干擾，提高對受試者心理和情緒狀態分析的準確性。