[發(fā)明專利]一種基于圖像識別的汽車非安全駕駛檢測裝置及檢測方法

有效

• 申請?zhí)枺?/td>: 201810375557.1
• 申請日: 2018-04-25
• 公開（公告）號: CN108372785B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 閔海濤;宋琪;李成宏;于遠彬
• 申請（專利權(quán)）人: 吉林大學(xué)
• 主分類號: B60K28/06
• 分類號: B60K28/06;G08B21/06;B60W40/08
• 代理公司: 長春吉大專利代理有限責(zé)任公司 22201
• 代理人: 劉馳宇

1.一種基于圖像識別的汽車非安全駕駛檢測方法，使用一種基于圖像識別的汽車非安全駕駛檢測裝置，包括車輛狀態(tài)檢測系統(tǒng)、圖像處理系統(tǒng)、第二判斷系統(tǒng)以及控制系統(tǒng)，上述各系統(tǒng)均與汽車ECU相連；車輛狀態(tài)檢測系統(tǒng)包括車輛自身的速度傳感器以及一個酒精探測儀，酒精探測儀設(shè)于駕駛室上方；圖像處理系統(tǒng)包括圖像輸入單元與圖像處理單元，圖像輸入單元包括兩個微型CCD攝像頭，兩個微型CCD攝像頭分別設(shè)置于車內(nèi)左側(cè)A柱中部和車內(nèi)右側(cè)A柱中部，圖像處理單元為一個圖形處理器；第二判斷系統(tǒng)包括聲級計、語音提示器以及按鍵；聲級計帶有頻譜分析功能，聲級計位于左側(cè)A柱中部的微型CCD攝像頭的下方；語音提示器位于儀表盤處；按鍵位于方向盤盤輻上；控制系統(tǒng)包括方向盤控制器、速度控制器以及報警器，報警器分為車內(nèi)報警器以及車外報警器，車內(nèi)報警器設(shè)于駕駛室儀表盤處，車外報警器設(shè)于車身外部的車頂處；

其特征在于，具體步驟如下：

步驟(一)建立表情庫：收集駕駛員處于疲勞狀態(tài)以及醉酒狀態(tài)下的面部圖像，將面部圖像分別匯總形成疲勞狀態(tài)表情庫以及醉酒狀態(tài)表情庫，將疲勞狀態(tài)表情庫以及醉酒狀態(tài)表情庫統(tǒng)稱為表情庫，并將表情庫存入汽車ECU中，將表情庫中的各面部圖像稱為預(yù)設(shè)駕駛員面部特征圖像；此外，定義本方法中的“非安全駕駛狀態(tài)”為疲勞駕駛和酒駕；

步驟(二)車輛狀態(tài)檢測系統(tǒng)對汽車狀態(tài)進行檢測，滿足條件1其中之一時，觸發(fā)圖像處理系統(tǒng)，滿足條件2時，直接觸發(fā)控制系統(tǒng)；

步驟(三)圖像處理系統(tǒng)對駕駛員過去時間段T內(nèi)的面部圖像進行采集、預(yù)處理以及相似度分析，當(dāng)駕駛員面部特征圖像與預(yù)設(shè)駕駛員面部特征圖像相似度滿足條件3時,觸發(fā)控制系統(tǒng)，當(dāng)駕駛員面部特征圖像與預(yù)設(shè)駕駛員面部特征圖像相似度滿足條件4時,觸發(fā)第二判斷系統(tǒng)；

步驟(四)第二判斷系統(tǒng)采集駕駛室內(nèi)的相關(guān)物理信息，并將采集到的駕駛室內(nèi)數(shù)據(jù)與預(yù)設(shè)值進行綜合判斷，進一步判斷此時駕駛員所處駕駛狀態(tài)，若判斷駕駛員此時處于“非安全駕駛狀態(tài)”則觸發(fā)控制系統(tǒng)；

步驟(五)控制系統(tǒng)啟動，控制系統(tǒng)根據(jù)“非安全駕駛狀態(tài)”的不同對車輛進行相應(yīng)的控制，同時，車內(nèi)報警器發(fā)出語音提示，警示駕駛員安全駕駛，同時，車外報警器發(fā)出警報警示后方的車輛；

其中，

步驟(二)具體過程為：

速度傳感器檢測汽車行駛速度，當(dāng)速度傳感器檢測到車輛處于起步狀態(tài)或行駛狀態(tài)時,酒精探測儀檢測駕駛室內(nèi)酒精含量，速度傳感器檢測此時的汽車行駛速度以及汽車行駛速度波動頻率，當(dāng)車輛行駛狀態(tài)處于不正常范圍內(nèi)即滿足條件1其中之一時，發(fā)送一電信號至圖像處理系統(tǒng)，觸發(fā)圖像處理系統(tǒng)；

若汽車行駛車速波動過大，即滿足條件2時，如急剎車、猛踩油門等，直接觸發(fā)控制系統(tǒng)；

其中，條件1為：

v＞v₁

(±20km/h)≤Δv＜(±30km/h)

c＞0

條件2為：

Δv≥35km/h

式中，v為汽車行駛速度；v₁為汽車行駛速度預(yù)設(shè)值；取最高限速的95％作為汽車行駛速度預(yù)設(shè)值，Δv為汽車在3s內(nèi)的速度變化量；c為駕駛室內(nèi)酒精濃度；

步驟(三)具體過程為：

a、圖像獲取

微型CCD攝像頭采集駕駛員過去時間段T內(nèi)的面部圖像，稱為駕駛員面部特征圖像，T＝2s；

b、圖像預(yù)處理

將駕駛員面部特征圖像以及表情庫中的預(yù)設(shè)駕駛員面部特征圖像進行去噪處理、裁剪去除邊框以及灰度化處理，并將駕駛員面部特征圖像以及表情庫中的預(yù)設(shè)駕駛員面部特征圖像的大小和灰度進行歸一化處理，將特征圖像統(tǒng)一歸一化為I×I像素，且滿足I＝m×n，其中，2≤n≤6，m為合數(shù)，I的具體數(shù)值可根據(jù)微型CCD攝像頭清晰度大小以及特征圖像處理的精度要求決定；

c、圖像特征提取

采用HOG特征提取方法提取駕駛員面部特征圖像以及預(yù)設(shè)駕駛員面部特征圖像的特征向量；

1)采用gamma校正法對駕駛員面部特征圖像以及預(yù)設(shè)駕駛員面部特征圖像進行顏色空間的標(biāo)準(zhǔn)化；

2)計算駕駛員面部特征圖像以及預(yù)設(shè)駕駛員面部特征圖像每個像素的梯度，包括大小和方向；

3)將駕駛員面部特征圖像以及預(yù)設(shè)駕駛員面部特征圖像劃分成多個n×n單元格；

4)作出每個n×n單元格的梯度直方圖，根據(jù)每個n×n單元格的梯度直方圖，即可形成每個n×n單元格的特征向量；

5)采用先從左至右、再從上至下選取的原則，將每k個n×n單元格組成一個圖像塊，k為m的除一之外的最小約數(shù)，一個圖像塊內(nèi)所有的n×n單元格特征串聯(lián)起來便得到該圖像塊的HOG特征向量，設(shè)駕駛員面部特征圖像上第i個圖像塊以及預(yù)設(shè)駕駛員面部特征圖像上第j個圖像塊的HOG特征向量分別為

6)將所有圖像塊的特征向量串聯(lián)起來，得到駕駛員面部特征圖像和預(yù)設(shè)駕駛員面部特征圖像的HOG特征向量，分別為

d、計算圖像相似度

計算駕駛員面部特征圖像和預(yù)設(shè)駕駛員面部特征圖像之間的相似度：

計算駕駛員面部特征圖像上第i個圖像塊以及預(yù)設(shè)駕駛員面部特征圖像上第j個圖像塊間的相似度，計算公式如下：

其中，S₁為駕駛員面部特征圖像和預(yù)設(shè)駕駛員面部特征圖像的相似度，P為駕駛員面部特征圖像上第i個圖像塊和預(yù)設(shè)駕駛員面部特征圖像上第j個圖像塊間的相似度，余弦值越大，則表示圖像塊或圖像越相似，若圖像塊或圖像完全一致，則余弦值為1；

其次，構(gòu)建相似矩陣S，令相似矩陣S中的第i行、第j列元素S_ij表示駕駛員面部特征圖像上第i個圖像塊與預(yù)設(shè)駕駛員面部特征圖像上第j個圖像塊之間的相似度，其中S_ij＝P；

基于相似矩陣自適應(yīng)加權(quán)計算圖像相似度：

其中，S₂為駕駛員面部特征圖像和預(yù)設(shè)駕駛員面部特征圖像間的圖像相似度；w_i為駕駛員面部特征圖像和預(yù)設(shè)駕駛員面部特征圖像相同位置的圖像塊相似度的權(quán)重；

根據(jù)前兩步計算出來的圖像相似度，采用加權(quán)平均計算最終的圖像相似度

取最高的相似度值作為最終相似度根據(jù)與駕駛員面部特征圖像相似度最高的預(yù)設(shè)駕駛員面部特征圖像所處的表情庫判斷駕駛員具體處于哪一種“非安全駕駛”狀態(tài)；

當(dāng)即滿足條件3時認為特征基本匹配，駕駛員處于“非安全駕駛”狀態(tài)，觸發(fā)控制系統(tǒng)；

當(dāng)即滿足條件4時認為兩圖像相似，但需進行進一步的判斷；

當(dāng)認為兩圖像不匹配度，駕駛員處于安全駕駛狀態(tài)；

步驟(四)具體過程為：

當(dāng)滿足條件4時，觸發(fā)第二判斷系統(tǒng)；

a、若初步判定駕駛員“非安全駕駛”狀態(tài)為疲勞駕駛，語音提示：“請按規(guī)定按下按鍵M次”，M隨機選取且滿足M≤5；

若駕駛員在規(guī)定時間t內(nèi)完成了相應(yīng)的按鍵次數(shù)操作，則視為駕駛員沒有處于疲勞駕駛狀態(tài)；若駕駛員在規(guī)定時間內(nèi)沒有完成相應(yīng)的按鍵次數(shù)操作，則視為駕駛員處于疲勞駕駛狀態(tài)，觸發(fā)控制系統(tǒng)；取t≤5s；

b、若初步判定駕駛員“非安全駕駛”狀態(tài)為酒駕，采用聲級計檢測駕駛員的聲音振幅頻率，當(dāng)滿足條件5其中之一時，觸發(fā)控制系統(tǒng)；

其中，條件5為：

T＞T′

H＞H′

式中，T為駕駛室內(nèi)聲音音調(diào)，T′為駕駛室內(nèi)聲音音調(diào)預(yù)設(shè)值，H為駕駛室內(nèi)聲音響度，H′為駕駛室內(nèi)聲音響度預(yù)設(shè)值；

其中，駕駛員提前測試自己正常說話時的音調(diào)、響度，分別測試五次并且取平均值，得到駕駛室內(nèi)聲音音調(diào)預(yù)設(shè)值T′以及駕駛室內(nèi)聲音響度預(yù)設(shè)值H′：

步驟(五)具體過程為：

a、若判斷為疲勞駕駛，方向盤控制器控制方向盤振動，車內(nèi)報警器語音警示駕駛員“請勿疲勞駕駛”；

繼續(xù)采集駕駛員面部特征圖像，并進行圖像相似度計算，若駕駛員不再處于疲勞駕駛狀態(tài)，解除方向盤振動、解除語音警示，若駕駛員仍處于疲勞駕駛狀態(tài)，加大方向盤振動頻率，加大語音警示音量，速度控制器對車輛進行限速；

重復(fù)圖像采集、處理過程直到判定駕駛員不再處于疲勞駕駛狀態(tài)；

b、若判斷為酒駕，車內(nèi)報警器語音警示駕駛員“請勿酒駕”，若駕駛員不進行停車動作，則速度控制器控制汽車車速為零，在汽車剛起步時逼停汽車。