[發(fā)明專利]一種多模態(tài)數(shù)據(jù)同步可視化系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110426969.5
• 申請日: 2021-04-20
• 公開（公告）號: CN113079411B
• 公開（公告）日: 2023-02-28
• 發(fā)明（設(shè)計）人: 徐韜;張高天;王佳寶;王旭;朱越
• 申請（專利權(quán)）人: 西北工業(yè)大學
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/433;H04N21/431;H04N21/472;A61B5/369;A61B5/16;G16H30/40
• 代理公司: 西北工業(yè)大學專利中心 61204
• 代理人: 金鳳

本發(fā)明公開了一種多模態(tài)數(shù)據(jù)同步可視化系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)讀取模塊、數(shù)據(jù)顯示模塊、播放參數(shù)設(shè)置模塊和播放控制模塊；在采集腦電信號時，同步錄制的誘發(fā)視頻和受試者面部表情視頻疊加在腦電圖的波形下面，并且將記錄的眼睛注視位置在錄制的呈現(xiàn)誘發(fā)圖像屏幕的視頻上進行標注，以固定大小的圓的方式進行顯示，讓實驗人員達到僅僅通過觀察更易于注意的標注形狀和視頻圖像信息，就可以偵測到受試者眼動情況以及受試者當前對應(yīng)的狀態(tài)，降低了受試者狀態(tài)監(jiān)測難度。

技術(shù)領(lǐng)域

本發(fā)明屬于生物醫(yī)電技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)同步可視化系統(tǒng)。

背景技術(shù)

大腦在進行活動時會自發(fā)性進行電活動，將該電活動放大記錄而獲得的圖形就是腦電信號，腦電信號中包含了大量的生理與疾病信息,在臨床醫(yī)學方面,通過分析腦電信號頻率、波形等特征，不僅可為某些腦疾病提供診斷依據(jù),而且還為某些腦疾病提供了有效的治療手段。在工程應(yīng)用方面，根據(jù)腦電信號實現(xiàn)的腦機接口,通過分析人對不同的感覺、運動或認知活動產(chǎn)生腦電的差異,進而對腦電信號進行有效提取和分類，最終達到某種控制目的。無論是對于輔助醫(yī)生決策診斷，還是幫助實驗人員發(fā)現(xiàn)腦電信號中存在的規(guī)律和特征，腦電信號的分析都是必不可少的階段。

現(xiàn)有技術(shù)中，【專利】(博?？悼萍?常州)股份有限公司.一種腦電圖時頻信息可視化方法:中國,CN201910596246.2[P].2019-09-20.)提出了一個比較有效的腦電可視化方法。該專利提供了一種腦電圖時頻信息的可視化方法，其將視頻信息疊加于腦電圖的波形下面，以偽彩的方式進行顯示，讓醫(yī)生達到僅僅通過觀察更易于注意的顏色信息，就可以偵測到腦電圖的病理變化，降低了監(jiān)測難度，方便了醫(yī)生對患者腦電圖的分析過程。區(qū)別于一般的腦電圖可視化方法或者軟件僅僅顯示腦電數(shù)據(jù)的做法，該專利考慮了腦電信號時頻信息對于監(jiān)測用戶病理狀態(tài)的重要性，即不同頻率的腦電圖會體現(xiàn)出病人或者受試者不同的生理或者病理信息,這對診斷和病灶的定位起到關(guān)鍵性作用。所以該專利在可視化腦電信號的基礎(chǔ)上，又同時計算了腦電信號的時頻信息并進行同步可視化，有利于醫(yī)生對患者狀態(tài)的及時評估及推進進一步的治療。

該專利通過計算腦電信號的時頻信息來推斷患者或者受試者產(chǎn)生該段腦電信號時所處的狀態(tài)，但對于他們真實所處的狀態(tài)并沒有進行關(guān)注、記錄和顯示。在該專利的基礎(chǔ)上，如果能夠同步可視化患者或受試者的實時狀態(tài)，對于醫(yī)生判斷患者準確情況提出治療方案，亦或是實驗人員后續(xù)分析受試者的行為，都能提供極大的幫助。除此之外，在進行腦電相關(guān)實驗時，由于受試者無意識的眼睛運動，采集到的腦電信號中會摻雜難以識別和分離的眼電信號，而通過記錄受試者的面部狀態(tài)可以很簡單的解決這個問題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種多模態(tài)數(shù)據(jù)同步可視化系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)讀取模塊、數(shù)據(jù)顯示模塊、播放參數(shù)設(shè)置模塊和播放控制模塊；在采集腦電信號時，同步錄制的誘發(fā)視頻和受試者面部表情視頻疊加在腦電圖的波形下面，并且將記錄的眼睛注視位置在錄制的呈現(xiàn)誘發(fā)圖像屏幕的視頻上進行標注，以固定大小的圓的方式進行顯示，讓實驗人員達到僅僅通過觀察更易于注意的標注形狀和視頻圖像信息，就可以偵測到受試者眼動情況以及受試者當前對應(yīng)的狀態(tài)，降低了受試者狀態(tài)監(jiān)測難度。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案如下：

一種多模態(tài)數(shù)據(jù)同步可視化系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)讀取模塊、數(shù)據(jù)顯示模塊、播放參數(shù)設(shè)置模塊和播放控制模塊；

所述數(shù)據(jù)采集模塊在受試者觀看屏幕上播放的實驗視頻時采集三部分數(shù)據(jù)：一是受試者的腦電數(shù)據(jù)；二是受試者面部表情變化數(shù)據(jù)；三是受試者眼睛注視屏幕位置的眼動數(shù)據(jù)；

所述數(shù)據(jù)讀取模塊讀取四部分內(nèi)容：一是采集的受試者的腦電數(shù)據(jù)；二是采集的錄制受試者面部表情變化數(shù)據(jù)的視頻；三是采集的受試者眼睛注視屏幕位置的眼動數(shù)據(jù)；四是屏幕上播放的實驗視頻，又稱屏幕錄制視頻；