[發(fā)明專利]一種基于視覺(jué)的駕駛行為檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810560951.2
• 申請(qǐng)日: 2018-06-01
• 公開(kāi)（公告）號(hào): CN108960065B
• 公開(kāi)（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 繆其恒;陳淑君;蘇志杰;鄭皓洲;王江明;許煒
• 申請(qǐng)（專利權(quán)）人: 浙江零跑科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;B60W40/08
• 代理公司: 杭州杭誠(chéng)專利事務(wù)所有限公司 33109
• 代理人: 尉偉敏

1.一種基于視覺(jué)的駕駛行為檢測(cè)方法，其特征在于，包括：

采集駕駛室圖像，提取人臉信息，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)與身份驗(yàn)證，輸出人臉關(guān)鍵點(diǎn)位置和人臉特征圖譜；

基于輸出的人臉關(guān)鍵點(diǎn)位置和人臉特征圖譜，進(jìn)行疲勞駕駛應(yīng)用檢測(cè)和分神駕駛應(yīng)用檢測(cè)；

基于疲勞駕駛和分神駕駛應(yīng)用檢測(cè)結(jié)果，判斷駕駛員疲勞狀態(tài)和分神狀態(tài)，發(fā)出疲勞預(yù)警和分神預(yù)警信號(hào)，預(yù)警駕駛疲勞行為和駕駛分神行為，判斷并顯示駕駛疲勞等級(jí)和駕駛專注等級(jí)；

所述基于疲勞駕駛和分神駕駛應(yīng)用檢測(cè)結(jié)果，判斷駕駛員疲勞狀態(tài)和分神狀態(tài)，發(fā)出疲勞預(yù)警和分神預(yù)警信號(hào)，包括：

瞌睡預(yù)警提示：定義瞌睡預(yù)警參考指標(biāo)瞌睡行為置信度C1和半分鐘平均眼部開(kāi)度，根據(jù)瞌睡行為檢測(cè)輸出的眼部睜閉狀態(tài)S1計(jì)算瞌睡行為置信度C1：C1_t+1＝max(0,C1_t+(S1-1)*K1+S1*K2)；根據(jù)眼部睜閉開(kāi)度λ，計(jì)算半分鐘平均眼部開(kāi)度λ0.5：其中，t_s為相機(jī)采樣周期，K1,K2為預(yù)警閾值參數(shù)，基于駕駛員疲勞基線數(shù)據(jù)，設(shè)定相應(yīng)的瞌睡置信度預(yù)警閾值T1和半分鐘平均眼部開(kāi)度閾值T1’，若C1大于T1或λ0.5小于T1’，則告警駕駛員；

哈欠預(yù)警提示：定義哈欠預(yù)警參考指標(biāo)哈欠行為置信度C2，根據(jù)哈欠行為檢測(cè)輸出的哈欠狀態(tài)S2計(jì)算瞌睡行為置信度C2：C2_t+1＝max(0,C2_t+(S2-1)*K1′+S2*K2′)，其中，K1’,K2’預(yù)警閾值參數(shù)，設(shè)定相應(yīng)的哈欠置信度預(yù)警閾值T2，若C2大于T2，則告警駕駛員；

低頭預(yù)警提示：定義低頭預(yù)警參考指標(biāo)半分鐘平均頭部俯仰角φ0.5，根據(jù)低頭行為檢測(cè)所得的頭部俯仰角φ，計(jì)算半分鐘平均頭部俯仰角φ0.5：其中，t_s為相機(jī)采樣周期，基于駕駛員疲勞基線數(shù)據(jù)，設(shè)定相應(yīng)的半分鐘平均頭部俯仰角閾值T2’，若φ0.5大于T2’，則告警駕駛員；

吸煙預(yù)警提示：根據(jù)所述吸煙行為檢測(cè)輸出的吸煙狀態(tài)S3計(jì)算吸煙行為置信度C3：C3_t+1＝max(0,C3_t+(S3-1)*K3+S3*K4)，其中，K3，K4為預(yù)警閾值參數(shù)；

接打電話預(yù)警提示：根據(jù)所述接打電話行為檢測(cè)輸出的接打電話狀態(tài)S4計(jì)算吸煙行為置信度C4：C4_t+1＝max(0,C4_t+(S4-1)*K3′+S4*K4′)，其中，K3’，K4’為預(yù)警閾值參數(shù)；

所述深度卷積神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)人臉檢測(cè)網(wǎng)絡(luò)、疲勞檢測(cè)網(wǎng)絡(luò)以及分神檢測(cè)網(wǎng)絡(luò)，輸入為駕駛室遠(yuǎn)紅外圖像，輸出為疲勞駕駛行為、分神危險(xiǎn)駕駛行為檢測(cè)結(jié)果；所述疲勞檢測(cè)網(wǎng)絡(luò)包括：瞌睡檢測(cè)網(wǎng)絡(luò)和哈欠行為識(shí)別網(wǎng)絡(luò)；所述分神檢測(cè)網(wǎng)絡(luò)包括接打電話行為檢測(cè)網(wǎng)絡(luò)和吸煙行為檢測(cè)網(wǎng)絡(luò)；

所述疲勞駕駛應(yīng)用檢測(cè)包括：瞌睡、哈欠行為、低頭行為檢測(cè)，所述分神駕駛應(yīng)用檢測(cè)包括：接打電話和吸煙行為檢測(cè)；

瞌睡行為檢測(cè)：對(duì)人臉特征圖譜進(jìn)行眼部ROI-pooling，利用瞌睡檢測(cè)網(wǎng)絡(luò)進(jìn)行眼部睜閉狀態(tài)識(shí)別以及眼部關(guān)鍵點(diǎn)回歸，經(jīng)公式將關(guān)鍵點(diǎn)位置轉(zhuǎn)換為眼部睜閉開(kāi)度λ，輸出當(dāng)前時(shí)刻眼部睜閉狀態(tài)S1以及眼部睜閉開(kāi)度λ；

哈欠行為檢測(cè)：對(duì)人臉特征圖譜進(jìn)行嘴部ROI-pooling，利用哈欠行為識(shí)別網(wǎng)絡(luò)進(jìn)行嘴部開(kāi)閉狀態(tài)識(shí)別，輸出哈欠狀態(tài)S2；

低頭行為檢測(cè)：利用人臉檢測(cè)網(wǎng)絡(luò)輸出的人臉關(guān)鍵點(diǎn)位置信息，根據(jù)預(yù)先設(shè)置的3D人臉模型，結(jié)合采集駕駛室圖像的相機(jī)內(nèi)參，通過(guò)奇異值分解得到平移向量T和旋轉(zhuǎn)矩陣R，旋轉(zhuǎn)矩陣R分解可得頭部俯仰角φ；

接打電話行為檢測(cè)：基于人臉檢測(cè)網(wǎng)絡(luò)眼部特征點(diǎn)高度及人臉左右邊界位置輸出，對(duì)人臉特征圖譜進(jìn)行耳部ROI-pooling，利用接打電話行為檢測(cè)網(wǎng)絡(luò)進(jìn)行接打電話行為檢測(cè)，輸出接打電話狀態(tài)S4；

吸煙行為檢測(cè)：基于人臉檢測(cè)網(wǎng)絡(luò)嘴部特征點(diǎn)位置輸出，對(duì)人臉特征圖譜進(jìn)行嘴部ROI-pooling，利用吸煙行為檢測(cè)網(wǎng)絡(luò)進(jìn)行吸煙狀態(tài)識(shí)別，輸出吸煙狀態(tài)S3。

2.根據(jù)權(quán)利要求1所述的一種基于視覺(jué)的駕駛行為檢測(cè)方法，其特征在于，所述采集駕駛室圖像，提取人臉信息，進(jìn)行人臉檢測(cè)與身份驗(yàn)證，包括：將采集的駕駛室圖像輸入人臉檢測(cè)網(wǎng)絡(luò)，輸出人臉關(guān)鍵點(diǎn)位置和人臉特征圖譜，將所述人臉特征圖譜與錄入的人臉信息特征圖譜庫(kù)標(biāo)準(zhǔn)對(duì)齊后，與錄入人臉庫(kù)的人臉圖像進(jìn)行特征相似度匹配，進(jìn)行身份驗(yàn)證。