[發(fā)明專利]基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010940231.6
• 申請(qǐng)日: 2020-09-09
• 公開（公告）號(hào): CN112417945A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 李榮寬;李明;譚杰
• 申請(qǐng)（專利權(quán)）人: 嘉興市納杰微電子技術(shù)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州華鼎知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 項(xiàng)軍

1.基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法，其特征在于，所述分心駕駛實(shí)時(shí)監(jiān)測(cè)方法包括：

構(gòu)建包括深度卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的專有神經(jīng)網(wǎng)絡(luò)的駕駛員分心駕駛動(dòng)態(tài)識(shí)別模型；

實(shí)時(shí)獲取當(dāng)前車輛的行駛速度，當(dāng)行駛速度高于預(yù)設(shè)閾值時(shí)，生成分心駕駛實(shí)時(shí)監(jiān)測(cè)的觸發(fā)信號(hào)；

當(dāng)接收到觸發(fā)信號(hào)時(shí)，獲取駕駛員在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的多幀駕駛視頻，調(diào)用駕駛員分心駕駛動(dòng)態(tài)識(shí)別模型進(jìn)行基于多幀駕駛視頻的駕駛員分心駕駛實(shí)時(shí)監(jiān)測(cè)；

基于監(jiān)測(cè)結(jié)果判定駕駛員分心程度等級(jí)。

2.根據(jù)權(quán)利要求1所述的基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法，其特征在于，所述構(gòu)建包括深度卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的專有神經(jīng)網(wǎng)絡(luò)的駕駛員分心駕駛實(shí)時(shí)監(jiān)測(cè)模型，包括：

將駕駛員的駕駛視頻分解為圖片幀，將得到的圖片幀分為靜態(tài)識(shí)別數(shù)據(jù)、動(dòng)態(tài)識(shí)別數(shù)據(jù)、測(cè)試數(shù)據(jù)三類；

基于靜態(tài)識(shí)別數(shù)據(jù)進(jìn)行基于深度卷積神經(jīng)網(wǎng)絡(luò)的分心駕駛靜態(tài)識(shí)別訓(xùn)練，得到分心駕駛靜態(tài)識(shí)別模型；

基于動(dòng)態(tài)識(shí)別數(shù)據(jù)對(duì)分心駕駛靜態(tài)識(shí)別模型進(jìn)行訓(xùn)練，得到分心駕駛動(dòng)態(tài)識(shí)別模型；

基于測(cè)試數(shù)據(jù)對(duì)分心駕駛動(dòng)態(tài)識(shí)別模型進(jìn)行模型訓(xùn)練；

其中，將圖片幀的尺寸修改為標(biāo)準(zhǔn)尺寸。

3.根據(jù)權(quán)利要求2所述的基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法，其特征在于，所述基于靜態(tài)識(shí)別數(shù)據(jù)進(jìn)行基于深度卷積神經(jīng)網(wǎng)絡(luò)的分心駕駛靜態(tài)識(shí)別訓(xùn)練，得到分心駕駛靜態(tài)識(shí)別模型，包括：

向深度卷積神經(jīng)網(wǎng)絡(luò)中softmax層的中導(dǎo)入靜態(tài)識(shí)別數(shù)據(jù)，得到softmax層輸出分類的概率；

利用Loss1函數(shù)對(duì)分類的概率做評(píng)估；

用模型參數(shù)的優(yōu)化對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)更新，根據(jù)更新后的參數(shù)重新計(jì)算Loss1的評(píng)估值；

對(duì)前述步驟迭代m次得到分心駕駛靜態(tài)識(shí)別模型。

4.根據(jù)權(quán)利要求2所述的基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法，其特征在于，所述基于動(dòng)態(tài)識(shí)別數(shù)據(jù)對(duì)分心駕駛靜態(tài)識(shí)別模型進(jìn)行訓(xùn)練，得到分心駕駛動(dòng)態(tài)識(shí)別模型，包括：

按順序分批將動(dòng)態(tài)識(shí)別數(shù)據(jù)提供給分心駕駛靜態(tài)識(shí)別模型，經(jīng)靜態(tài)識(shí)別模型提取動(dòng)態(tài)識(shí)別數(shù)據(jù)中每一幀圖片的特征；

將提取的每一幀圖片的特征作為每一級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入，按順序輸入到每一級(jí)的循環(huán)神經(jīng)網(wǎng)絡(luò)；

將利用n級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)提取每個(gè)時(shí)刻的駕駛狀態(tài)信息作為循環(huán)神經(jīng)網(wǎng)絡(luò)中Logistic層的輸入，經(jīng)Logistic層輸出每個(gè)時(shí)刻駕駛員分心的概率；

利用Loss2函數(shù)對(duì)所有時(shí)刻駕駛員分心的概率做評(píng)估；

更新n級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)，根據(jù)更新后的參數(shù)重新計(jì)算Loss2的評(píng)估值；

對(duì)前述步驟迭代k次得到分心駕駛動(dòng)態(tài)識(shí)別模型。

5.根據(jù)權(quán)利要求1所述的基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法，其特征在于，所述當(dāng)接收到觸發(fā)信號(hào)時(shí)，獲取駕駛員在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的多幀駕駛視頻，調(diào)用駕駛員分心駕駛動(dòng)態(tài)識(shí)別模型進(jìn)行基于多幀駕駛視頻的駕駛員分心駕駛實(shí)時(shí)監(jiān)測(cè)，包括：

當(dāng)接收到觸發(fā)信號(hào)時(shí)，獲取駕駛員在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的多幀駕駛視頻；

將多幀駕駛視頻分割為圖片幀，將得到的圖片幀逐幀導(dǎo)入駕駛員分心駕駛動(dòng)態(tài)識(shí)別模型對(duì)多幀駕駛視頻中是否存在駕駛員分心駕駛的情況進(jìn)行判斷；

得到標(biāo)記為存在駕駛員分心駕駛的圖片幀。

6.根據(jù)權(quán)利要求1所述的基于專有神經(jīng)網(wǎng)絡(luò)的分心駕駛實(shí)時(shí)監(jiān)測(cè)方法，其特征在于，所述基于監(jiān)測(cè)結(jié)果判定駕駛員分心程度等級(jí)，包括：

計(jì)算標(biāo)記為存在駕駛員分心駕駛的圖片幀在多幀駕駛視頻中的比例；

基于比例結(jié)果判定駕駛員分心程度等級(jí)。