[發(fā)明專利]駕駛場景下駕駛員眼動行為檢測方法、系統(tǒng)、介質(zhì)及設備

在審

• 申請?zhí)枺?/td>: 201910375979.3
• 申請日: 2019-05-07
• 公開（公告）號: CN110110662A
• 公開（公告）日: 2019-08-09
• 發(fā)明（設計）人: 楊曉暉;察曉磊;馮志全;周勁;徐濤;韓士元
• 申請（專利權）人: 濟南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權代理有限公司 37221
• 代理人: 李琳

1.一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：包括以下步驟：

采集駕駛過程視頻；

對視頻進行分幀，識別出包括臉部和眼部的目標區(qū)域，截取目標區(qū)域并以圖片的形式保存；

構建雙通道卷積神經(jīng)網(wǎng)絡，將眼部圖片作為其中一個通道的輸入，提取眼部特征；臉部圖片作為另一個通道的輸入，提取臉部特征；

兩個通道提取的特征經(jīng)過兩層全連接層進行融合并通過softmax函數(shù)得到最終識別結果。

2.如權利要求1所述的一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：利用放置在駕駛艙內(nèi)后視鏡附近的普通RGB攝像頭采集駕駛員駕駛視頻。

3.如權利要求1所述的一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：截取目標區(qū)域并以圖片的形式保存，對圖片進行灰度化處理，將左右眼兩張圖片拼接成一張圖片并保存。

4.如權利要求1所述的一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：將得到的臉部圖片、左右眼圖片按照適當比例劃分訓練集、驗證集，作為訓練網(wǎng)絡以及優(yōu)化網(wǎng)絡模型的輸入數(shù)據(jù)。

5.如權利要求1所述的一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：通過分析數(shù)據(jù)集的特征以及應用的具體場景，構建雙通道卷積神經(jīng)網(wǎng)絡，其中一個通道提取臉部數(shù)據(jù)的特征，另一通道提取眼部數(shù)據(jù)的特征，最后在全連接層完成特征的融合。

6.如權利要求1所述的一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：對構建的雙通道卷積神經(jīng)網(wǎng)絡進行優(yōu)化，用兩層卷積核大小為3*3的卷積層來代替卷積核大小為5*5的卷積層，卷積層之間使用SELU激活函數(shù)，使用最大池化實現(xiàn)降采樣處理。

7.如權利要求6所述的一種駕駛場景下駕駛員眼動行為檢測方法，其特征是：利用優(yōu)化后的卷積神經(jīng)網(wǎng)絡的反向傳播優(yōu)化網(wǎng)絡整體參數(shù)。

8.一種駕駛場景下駕駛員眼動行為檢測系統(tǒng)，其特征是：包括：

數(shù)據(jù)處理模塊，被配置為對駕駛過程視頻進行分幀，識別出包括臉部和眼部的目標區(qū)域，截取目標區(qū)域并以圖片的形式保存；

模型構建模塊，被配置為構建雙通道卷積神經(jīng)網(wǎng)絡，將眼部圖片作為其中一個通道的輸入，提取眼部特征；臉部圖片作為另一個通道的輸入，提取臉部特征；

識別結果輸出模塊，被配置為將兩個通道提取的特征經(jīng)過兩層全連接層進行融合并通過softmax函數(shù)得到最終識別結果。

9.一種計算機可讀存儲介質(zhì)，其特征是：其中存儲有多條指令，所述指令適于由終端設備的處理器加載并執(zhí)行權利要求1-7中任一項所述的一種駕駛場景下駕駛員眼動行為檢測方法。

10.一種終端設備，其特征是：包括處理器和計算機可讀存儲介質(zhì)，處理器用于實現(xiàn)各指令；計算機可讀存儲介質(zhì)用于存儲多條指令，所述指令適于由處理器加載并執(zhí)行權利要求1-7中任一項所述的一種駕駛場景下駕駛員眼動行為檢測方法。