[發明專利]一種融合腦電波和生理信號的多感知智能人機交互方法

在審

• 申請號: 202111026240.5
• 申請日: 2021-09-02
• 公開（公告）號: CN113693601A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 楊巨成;魏峰;吳宗亮;溫剛;孫笑;王嫄
• 申請（專利權）人: 天津科技大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/00;A61B5/024;A61B5/145;A61B5/369;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開的屬于人工智能與物聯網技術領域，具體為一種融合腦電波和生理信號的多感知智能人機交互方法，包括以下步驟：步驟1：通過攝像機對駕駛員的圖像數據進行分析，同時通過傳感器采集司機生理信號，從而實時對駕駛員的狀態進行檢測；步驟2：車載終端對步驟1中采集到的數據進行處理后，通過物聯網終端發送到云服務器，通過應用移動端能夠從云服務器獲取數據并將其可視化，當出現異常駕駛行為時，將進行語音警告；本發明針對識別司機行為精度低和實時性差等問題，使用了多模態感知的方法以提高準確性和速度，通過利用物聯網智能硬件平臺加裝Wifi通信模塊使此系統部署極為簡便。

技術領域

本發明涉及人工智能與物聯網技術領域，具體為一種融合腦電波和生理信號的多感知智能人機交互方法。

背景技術

基于車輛行駛數據的智能監控和安全保障，最常使用的技術有：傳感器來測量車輛的內部狀態，如方向盤角度、加速度、角速度，使用移動智能手機內置傳感器來監測駕駛行為。由于以上技術需要較高的成本并且部署困難，很難成為市場上駕駛的主流；基于視頻圖像的智能監控和安全保障的經典方法是計算PERCLOSE(眼瞼閉合的百分比)作為檢測疲勞的標準。然而該方法的檢測對關照敏感，需要在弱光條件下進行，具有較低的精度和魯棒性；基于可穿戴設備的智能監控和安全保障，對于駕駛員的復雜狀態，如駕駛時的注意力不集中，利用生理信號檢測是研究最多的監測方法。該方法通常分為接觸法和非接觸法，前者包括呼吸、腦電圖、心電圖等生物特征的提取。在數字信號處理的方法中，有使用運籌學理論來評估駕駛員的狀態，還有通過手腕運動檢測疲勞的疲勞報警手鐲，但是可穿戴設備的智能監控和安全保障方法有著實際應用難、數據粒度粗、沒有覓蹤功能且警示用戶的體驗不佳等問題。

一種新的高級駕駛輔助和監測系統(ADMAS)結構，檢測異常情緒、警示和保護司機行車安全。該系統可以提前預測并糾正司機不良情緒；基于深度學習的異常情緒檢測，可以預測駕駛員在執行某些動作前幾秒的行為；基于腦電波的情緒檢測，可以采用“濕電極”和“干電極”兩種方式。

采用“濕電極”檢測精度高但佩戴裝置復雜，采用“干電極”檢測收集裝置簡便但精度不高并且會受到外界噪聲的干擾。目前基于司機異常駕駛行為檢測研究主要包括：基于車輛駕駛數據、基于穿戴設備和基于視頻圖像的檢測。基于車輛駕駛數據，成本過高、實時性差；基于穿戴設備，便捷度低，體驗效果差，沒有覓蹤和警示功能；基于視頻圖像的智能監控，魯棒性差，識別精度低。綜上所述，目前基于司機異常情緒、行為和生理信號的檢測，國內外的研究都缺少一種有效、高效和識別精度高的監測，并及時預警、監管司機異常情緒、行為和生理信號的安全駕駛監測系統。

發明內容

本發明的目的在于提供一種融合腦電波和生理信號的多感知智能人機交互方法，以解決上述背景技術中提出的成本過高、實時性差；基于穿戴設備，便捷度低，體驗效果差，沒有覓蹤和警示功能；基于視頻圖像的智能監控，魯棒性差，識別精度低的問題。

為實現上述目的，本發明提供如下技術方案：一種融合腦電波和生理信號的多感知智能人機交互方法，包括以下步驟：

步驟1：通過攝像機對駕駛員的圖像數據進行分析，同時通過傳感器采集司機生理信號，從而實時對駕駛員的狀態進行檢測；

步驟2：車載終端對步驟1中采集到的數據進行處理后，通過物聯網終端發送到云服務器，通過應用移動端能夠從云服務器獲取數據并將其可視化，當出現異常駕駛行為時，將進行語音警告；

其中，所述傳感器包括用于采集腦電波信息的腦電波儀器、PPG傳感模塊，所述PPG傳感模塊包括心率傳感器與血氧濃度傳感器，且PPG傳感模塊放置與方向盤套中，所述物聯網終端包括5G通信模塊、加速傳感器、酒精傳感器、語音模塊與WIFI通信模塊，所述5G通信模塊用于與云服務器交互，所述語音模塊用于與駕駛者實時語音交互，所述應用移動端用于云服務器進行數據交互獲取駕駛者數據。