[發明專利]一種融合腦電波和生理信號的多感知智能人機交互方法

在審

• 申請號: 202111026240.5
• 申請日: 2021-09-02
• 公開（公告）號: CN113693601A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 楊巨成;魏峰;吳宗亮;溫剛;孫笑;王嫄
• 申請（專利權）人: 天津科技大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/00;A61B5/024;A61B5/145;A61B5/369;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：包括以下步驟：

步驟1：通過攝像機對駕駛員的圖像數據進行分析，同時通過傳感器采集司機生理信號，從而實時對駕駛員的狀態進行檢測；

步驟2：車載終端對步驟1中采集到的數據進行處理后，通過物聯網終端發送到云服務器，通過應用移動端能夠從云服務器獲取數據并將其可視化，當出現異常駕駛行為時，將進行語音警告；

其中，所述傳感器包括用于采集腦電波信息的腦電波儀器、PPG傳感模塊，所述PPG傳感模塊包括心率傳感器與血氧濃度傳感器，且PPG傳感模塊放置與方向盤套中，所述物聯網終端包括5G通信模塊、加速傳感器、酒精傳感器、語音模塊與WIFI通信模塊，所述5G通信模塊用于與云服務器交互，所述語音模塊用于與駕駛者實時語音交互，所述應用移動端用于云服務器進行數據交互獲取駕駛者數據。

2.根據權利要求1所述的一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：所述攝像機基于圖像檢測能夠檢測駕駛者的異常狀態，異常狀態包括疲勞駕駛、抽煙、玩手機、未系安全帶、未握住方向盤、未目視前方，所述腦電波儀器基于腦波能夠檢測駕駛者的專注程度、駕駛者情緒。

3.根據權利要求1所述的一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：所述PPG傳感模塊能夠檢測駕駛者的心率與血氧濃度，所述WIFI通信模塊用于將攝像機、傳感器采集到的駕駛者數據上傳至云服務器。

4.根據權利要求2所述的一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：所述攝像機的圖像檢測利用OpenCV和Dlib函數庫進行人臉識別，檢測疲勞狀態，首先使用OpenCV自帶函數對圖像進行降噪等預處理，使用Dlib導入預訓練的人臉68點位模型，經過與訓練模型后，獲得人臉矩形框坐標和68點位坐標，此時可以利用人臉矩形框是否存在判定司機是否目視前方或者偏頭，在坐標中找到人眼關鍵點位，根計算眼瞼閉合率，設定閾值，計算上述所述眨眼頻率PERLCOSE，當眨眼頻率過低時，觸發疲勞狀態，播報音頻。

5.根據權利要求2所述的一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：所述腦波儀器利用集成學習對司機情緒進行分類，并使用語音反饋，能夠改善司機駕駛時的心理狀態，降低事故發生率，其中包括三個子模塊,分別為腦電信號預處理模塊、情緒分類模塊和反饋模塊，其中預處理和分類方法采用和中相似的方法，分類模型也為此原作者提供的預訓練的模型。

6.根據權利要求5所述的一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：所述腦電信號預處理模塊用于預處理數據、提取腦電信號時序特征，獲得的輸出為數字信號：8個3字節無符號整數的序列，也就是8中頻段的腦波信號，這些腦波信號分別為：低頻阿爾法波，高頻阿爾法波，低頻貝塔波，高頻貝塔波，低頻伽馬波，高頻伽馬波，德爾塔波，希塔波，8次采集為一小組，40次為一個批次，形成一個矩陣X∈R^8×8×5，當清洗無用數據后，需要提取數值特征，使用均值、方差、峰度值、求和、標準差、中位數、偏度值、極小值、極大值多個特征，需要使用Tsfresh模塊提取，當原數據提取特征之后變為一個特征矩陣F∈R^10×5，輸入之后的分類模型。

7.根據權利要求5所述的一種融合腦電波和生理信號的多感知智能人機交互方法，其特征在于：所述情緒分類模塊對預處理的腦波信號分類，在得到5秒鐘的腦波信號后，將它輸入預訓練模型，采用了多個機器學習模型，使用了集成學習的Voting方法，投票方式為hard voting，集成的模型有決策樹、K近鄰、AdaBoosting、梯度提升、連續型樸素貝葉斯模型，之后根據閾值預測值分為3類，分別對應：Positive，Neutral，Negative，所述反饋模塊將情緒可聽化反饋司機情緒，這個模塊可以根據不同的情緒自適應播放音樂，反饋司機，從而調節情緒，首先播報語音告知司機其當前情緒，之后播放音樂，對過于興奮或者負面的異常情緒進行干預。