[發(fā)明專利]偽3D卷積神經(jīng)網(wǎng)絡(luò)與注意力機制結(jié)合的駕駛疲勞檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010522475.2
• 申請日: 2020-06-10
• 公開（公告）號: CN111428699B
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計）人: 戚湧;莊員
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 滕詣迪

本發(fā)明公開了一種偽3D卷積神經(jīng)網(wǎng)絡(luò)與注意力機制結(jié)合的駕駛疲勞檢測方法。包括：1）對駕駛視頻提取視頻幀序列并處理；2）采用偽3D卷積模塊進行時空特征學(xué)習(xí)；3）構(gòu)建P3D?Attention模塊，使用注意力機制在通道與特征圖上施加關(guān)注；4）使用2D全局平均池化層替代3D全局平均池化層獲得更具表達能力的特征，并使用softmax分類層進行分類。本發(fā)明能夠分析哈欠、眨眼、頭部特征運動，很好地將呵欠行為與說話行為動作區(qū)分開來；有效地將警戒、低警惕性和困倦三種狀態(tài)區(qū)分開，以提高對疲勞駕駛行為的預(yù)測性能。

技術(shù)領(lǐng)域

本發(fā)明涉及智能視頻分析技術(shù)領(lǐng)域，具體是偽3D卷積神經(jīng)網(wǎng)絡(luò)與注意力機制結(jié)合的駕駛疲勞檢測方法及系統(tǒng)。

背景技術(shù)

疲勞駕駛是交通事故的主要原因之一。處于疲勞狀態(tài)的駕駛員經(jīng)常感到困倦、短暫意識喪失，降低警覺性與應(yīng)對異常事件能力，造成對交通管制和危險反應(yīng)時間變慢，從而導(dǎo)致事故的發(fā)生。美國汽車協(xié)會報告說，駕駛疲勞狀況占道路交通事故比例最大，所有事故的7％和致命交通事故的21％是由疲倦的駕駛員引起的。現(xiàn)有技術(shù)用于檢測疲勞駕駛行為可分為基于生理參數(shù)、基于車輛行為和基于面部特征分析三類方法。

基于生理參數(shù)的檢測方法要求傳感器與駕駛員身體接觸，利用生理信號進行駕駛員睡意檢測，如心電圖（electrocardiography，ECG）、腦電圖（electroencephalogram，EEG）。利用多種傳感器組合測量不同的生理參數(shù)，如融合測量肌電圖（electromyography，EDA）、呼吸和心電圖檢測駕駛員睡眠狀態(tài)的系統(tǒng)，該方法雖然能夠獲得較高的疲勞駕駛檢測精度，但是高昂的實驗成本與侵入性特征限制了其應(yīng)用范圍。基于車輛行為的檢測方法利用車輛行為參數(shù)檢測駕駛疲勞行為，如車道偏離檢測、方向盤轉(zhuǎn)角（steering wheelangle，SWA）和偏航角（yaw angle，YA）信息，但是該方法也依賴于如道路狀況等一些外部因素。

基于面部特征分析的檢測方法，通過對駕駛員面部特征提取特征點，比較駕駛員在疲勞狀態(tài)和正常狀態(tài)的表現(xiàn)，檢測駕駛員頭部移動姿態(tài)、眼睛狀態(tài)、眨眼和哈欠等疲勞行為特征。與上述兩種方法相比，該方法具有非入侵、易于實現(xiàn)等優(yōu)點。一種通過紅外傳感器連續(xù)記錄眼瞼的運動并研究自發(fā)眨眼參數(shù)的有效性，考察眨眼持續(xù)時間的子成分，即關(guān)閉時間、重新打開時間和關(guān)閉時間，研究表明，閃爍持續(xù)時間和重新打開時間這兩個參數(shù)隨著睡意的增加而可靠地變化。通過評估最新的基于眼睛追蹤的車內(nèi)疲勞預(yù)測措施的性能，研究基于攝像機的駕駛員睡意檢測方法，將符合標(biāo)準(zhǔn)（最小/最大持續(xù)時間、形狀和最小振幅）的候選眨眼標(biāo)記為有效的眨眼。通過采用面部識別的算法，應(yīng)用一種基于邊緣檢測和紋理測量的技術(shù)分割眼睛并計算隨時間變化的眼睛特征，在高照度下獲得95.83%的有效性，在中等照度下獲得87.5%的有效性。一種基于支持向量機的人臉提取系統(tǒng)，使用基于面部提取的支持向量機和一種基于圓形霍夫變換的新嘴部檢測方法，應(yīng)用于嘴部提取區(qū)域，并通過嘴部的張開大小判斷疲勞狀態(tài)。這些方法基于手工制作的特征，無法徹底探索不同視覺線索之間的復(fù)雜關(guān)系，忽略了眼部和嘴部遮擋問題，各人打哈欠時間、嘴巴張開大小存在明顯差異，也沒有考慮面部表情的特征變化和頭部移動姿態(tài)等問題。