[發(fā)明專利]駕駛場景下駕駛員眼動行為檢測方法、系統(tǒng)、介質(zhì)及設(shè)備

在審

• 申請?zhí)枺?/td>: 201910375979.3
• 申請日: 2019-05-07
• 公開（公告）號: CN110110662A
• 公開（公告）日: 2019-08-09
• 發(fā)明（設(shè)計）人: 楊曉暉;察曉磊;馮志全;周勁;徐濤;韓士元
• 申請（專利權(quán)）人: 濟南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李琳

本公開提供了一種駕駛場景下駕駛員眼動行為檢測方法、系統(tǒng)、介質(zhì)及設(shè)備，采集駕駛員駕駛視頻；對視頻進行分幀，識別出包括臉部和眼部的目標區(qū)域，截取目標區(qū)域并以圖片的形式保存；構(gòu)建雙通道卷積神經(jīng)網(wǎng)絡(luò)，將眼部圖片作為其中一個通道的輸入，提取眼部特征；臉部圖片作為另一個通道的輸入，提取臉部特征；兩個通道提取的特征經(jīng)過兩層全連接層進行融合并通過softmax函數(shù)得到最終識別結(jié)果，投入成本低且不需要復(fù)雜的模型參數(shù)，具有非常好的應(yīng)用前景。

技術(shù)領(lǐng)域

本公開屬于汽車自動控制處理領(lǐng)域，具體涉及一種駕駛場景下駕駛員眼動行為檢測方法、系統(tǒng)、介質(zhì)及設(shè)備。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

隨著經(jīng)濟的發(fā)展，汽車的數(shù)量越來越多，這就使得道路擁擠變得越來越嚴重，交通事故發(fā)生率越來越高，中國每年大約發(fā)生數(shù)十萬起交通事故，傷亡人數(shù)達百萬，駕駛員注意力不集中是導(dǎo)致交通事故發(fā)生的主要原因，比如在駕駛過程中使用智能手機、操作汽車中央控制系統(tǒng)、與乘客交談等任何使駕駛員的注意力從駕駛?cè)蝿?wù)轉(zhuǎn)移的活動都會導(dǎo)致駕駛員注意力不集中。而這些活動有一個共同點就是使駕駛員的眼睛從駕駛?cè)蝿?wù)中轉(zhuǎn)移，因此，如果我們能夠在駕駛場景下檢測出駕駛員的眼動行為，并根據(jù)駕駛員的眼動行為分析出駕駛員注意力的狀態(tài)，對駕駛員注意力不集中的行為及時做出警示，那么就可以避免交通事故的發(fā)生，減少傷亡人數(shù)。

據(jù)發(fā)明人了解，目前，國內(nèi)外學(xué)者已經(jīng)提出的眼動行為檢測方法大致分為兩種，一種是基于特征的方法，即在分析瞳孔中心與角膜上的光線反射點之間的關(guān)系來檢測眼動行為，這種方法，依賴于用戶校準和手動初始化，并對陽光等可見光非常敏感，而在駕駛場景下，陽光等可見光對車內(nèi)照明的影響又不可避免，頭戴式眼動儀大多采用這種方法，頭戴式眼動儀在眼動行為檢測中能夠準確識別出人的注視點，但是它成本高，使用過程中需要佩戴相關(guān)硬件設(shè)施，在一定程度上會影響駕駛員的駕駛行為，所以這種方法應(yīng)用于駕駛環(huán)境下的眼動行為檢測存在局限性。另一種是基于外觀的方法，基于外觀的眼動行為檢測方法是采用深度學(xué)習(xí)算法獲取相關(guān)圖片的特征，來建立圖片與注視點之間的關(guān)聯(lián)，深度學(xué)習(xí)的優(yōu)點在于能夠通過自我學(xué)習(xí)來提取特征，并以較高的準確率識別目標。這種方法不依賴于用戶校準以及手動初始化，受陽光等可見光的影響較小，并且成本較低，比較適合應(yīng)用在駕駛環(huán)境下的眼動行為檢測。雖然，深度學(xué)習(xí)在大多數(shù)計算機視覺任務(wù)中發(fā)揮著重要的作用，但是實際運用在駕駛場景下眼動行為檢測方向的情況少之又少，已經(jīng)提出的駕駛場景下駕駛員眼動行為檢測模型的大部分是用已有網(wǎng)絡(luò)訓(xùn)練得出，不具有針對性，并且模型參數(shù)過于復(fù)雜。

發(fā)明內(nèi)容

本公開為了解決上述問題，提出了一種駕駛場景下駕駛員眼動行為檢測方法、系統(tǒng)、介質(zhì)及設(shè)備，本公開的投入成本低且不需要復(fù)雜的模型參數(shù)，具有非常好的應(yīng)用前景。

根據(jù)一些實施例，本公開采用如下技術(shù)方案：

一種駕駛場景下駕駛員眼動行為檢測方法，包括以下步驟：

采集駕駛過程視頻；

對視頻進行分幀，識別出包括臉部和眼部的目標區(qū)域，截取目標區(qū)域并以圖片的形式保存；

構(gòu)建雙通道卷積神經(jīng)網(wǎng)絡(luò)，將眼部圖片作為其中一個通道的輸入，提取眼部特征；臉部圖片作為另一個通道的輸入，提取臉部特征；

兩個通道提取的特征經(jīng)過兩層全連接層進行融合并通過softmax函數(shù)得到最終識別結(jié)果。

作為可能的實施方式，利用放置在駕駛艙內(nèi)后視鏡附近的普通RGB攝像頭采集駕駛員駕駛視頻。

作為可能的實施方式，截取目標區(qū)域并以圖片的形式保存，對圖片進行灰度化處理，將左右眼兩張圖片拼接成一張圖片并保存。

作為可能的實施方式，將得到的臉部圖片、左右眼圖片按照適當比例劃分訓(xùn)練集、驗證集，作為訓(xùn)練網(wǎng)絡(luò)以及優(yōu)化網(wǎng)絡(luò)模型的輸入數(shù)據(jù)。