[發(fā)明專利]一種基于視覺信息融合的駕駛員狀態(tài)監(jiān)測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410208173.2
• 申請日: 2014-05-16
• 公開（公告）號: CN104021370B
• 公開（公告）日: 2018-01-23
• 發(fā)明（設(shè)計）人: 張根源;虞勤;楊思思;周泓
• 申請（專利權(quán)）人: 浙江傳媒學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京天奇智新知識產(chǎn)權(quán)代理有限公司11340
• 代理人: 劉芬豪

1.一種基于視覺信息融合的駕駛員狀態(tài)監(jiān)測方法，其特征在于，包括以下步驟：

S10，采集駕駛員臉部圖像與汽車前方道路圖像并進(jìn)行預(yù)處理；

S20，對經(jīng)過預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位，獲取人臉區(qū)域；

S30，在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對人眼進(jìn)行跟蹤；

S40，對經(jīng)過預(yù)處理的汽車前方道路圖像進(jìn)行車道線檢測并識別；

S50，根據(jù)檢測到的車道線計算汽車行駛方向與導(dǎo)航線夾角，判斷車輛是否偏離車道；

S60，將駕駛員人眼參數(shù)信息與車輛偏離信息融合，采用學(xué)習(xí)的方法獲取貝葉斯網(wǎng)絡(luò)參數(shù)，分別得到駕駛狀態(tài)的先驗概率與各個特征的條件概率以及轉(zhuǎn)移概率，并根據(jù)得到的貝葉斯網(wǎng)絡(luò)，利用計算結(jié)果對駕駛員狀態(tài)進(jìn)行判別，若處于非正常駕駛狀態(tài)，則啟動報警；

其中，步驟S30還包括：

S31，采用自適應(yīng)閾值二值化的方法獲取人臉區(qū)域的二值圖像；

S32，對得到的二值圖像的上半?yún)^(qū)域進(jìn)行灰度投影值的水平積分投影，獲得人眼的水平位置；

S33，在定位出的人眼區(qū)域內(nèi)尋找灰度值最大點，并以該點為中心向周圍進(jìn)行區(qū)域生長并計算區(qū)域生長后獲取瞳孔質(zhì)心，利用Kalman濾波方法對人眼進(jìn)行跟蹤；

S34，計算瞳孔面積判別眼睛的睜閉狀態(tài)，獲取人眼參數(shù)。

2.根據(jù)權(quán)利要求1所述的基于視覺信息融合的駕駛員狀態(tài)監(jiān)測方法，其特征在于，所述步驟S40包括：

S41，對經(jīng)過預(yù)處理的道路圖像進(jìn)行canny邊緣檢測實現(xiàn)二值化；

S42，對所述道路圖像的二值圖像進(jìn)行Hough變換直線檢測；

S43，利用水平線檢測方法分析Hough變換檢測到的多條直線，找到直線的 消隱點，相交于消隱點的兩條直線即分別為車道線的左右邊界。

3.根據(jù)權(quán)利要求2所述的基于視覺信息融合的駕駛員狀態(tài)監(jiān)測方法，其特征在于，所述步驟S50包括：

根據(jù)步驟S40中得到的道路邊界和消隱點確定道路邊界的夾角，從而獲得車道的中線，即夾角的一半且過消隱點的直線，

如果汽車行駛方向與車道中線之間的夾角在預(yù)設(shè)閾值范圍內(nèi)，則判斷為汽車屬于正常駕駛狀態(tài)，否則判斷為車輛行駛偏離車道。

4.一種基于視覺信息融合的駕駛員狀態(tài)監(jiān)測系統(tǒng)，其特征在于，包括：

圖像獲取及預(yù)處理單元，用于采集駕駛員臉部圖像與汽車前方道路圖像并進(jìn)行預(yù)處理；

人眼定位及運動參數(shù)提取單元，用于對經(jīng)過預(yù)處理的駕駛員臉部圖像進(jìn)行人臉定位以獲取人臉區(qū)域，并在人臉區(qū)域內(nèi)定位人眼瞳孔質(zhì)心和瞳孔區(qū)域，獲取人眼狀態(tài)參數(shù)并對人眼進(jìn)行跟蹤；

車道線檢測識別單元：用于對經(jīng)過預(yù)處理的汽車前方道路圖像進(jìn)行車道線檢測并識別；

偏離判斷單元：用于根據(jù)檢測到的車道線計算汽車行駛方向與導(dǎo)航線夾角，判斷車輛是否偏離車道；

駕駛員狀態(tài)分析單元：用于將駕駛員人眼參數(shù)信息與車輛偏離信息融合，采用學(xué)習(xí)的方法獲取貝葉斯網(wǎng)絡(luò)參數(shù)，分別得到駕駛狀態(tài)的先驗概率與各個特征的條件概率以及轉(zhuǎn)移概率，并根據(jù)得到的貝葉斯網(wǎng)絡(luò)，利用計算結(jié)果對駕駛員狀態(tài)進(jìn)行判別，若處于非正常駕駛狀態(tài)，則啟動報警；

其中所述人眼定位及運動參數(shù)提取單元還用于：

采用自適應(yīng)閾值二值化的方法獲取人臉區(qū)域的二值圖像；

對得到的二值圖像的上半?yún)^(qū)域進(jìn)行灰度投影值的水平積分投影，獲得人眼的水平位置；

在定位出的人眼區(qū)域內(nèi)尋找灰度值最大點，并以該點為中心向周圍進(jìn)行區(qū) 域生長并計算區(qū)域生長后獲取瞳孔質(zhì)心，利用Kalman濾波方法對人眼進(jìn)行跟蹤；

計算瞳孔面積判別眼睛的睜閉狀態(tài)，獲取人眼參數(shù)。

5.根據(jù)權(quán)利要求4所述的駕駛員狀態(tài)監(jiān)測系統(tǒng)，其特征在于，所述車道線檢測識別單元具體用于：

對經(jīng)過預(yù)處理的道路圖像進(jìn)行canny邊緣檢測實現(xiàn)二值化；

對所述道路圖像的二值圖像進(jìn)行Hough變換直線檢測；

利用水平線檢測方法分析Hough變換檢測到的多條直線，找到直線的消隱點，相交于消隱點的兩條直線即分別為車道線的左右邊界。

6.根據(jù)權(quán)利要求5所述的駕駛員狀態(tài)監(jiān)測系統(tǒng)，其特征在于，所述偏離判斷單元具體用于：

根據(jù)車道線檢測識別單元中得到的道路邊界和消隱點確定道路邊界的夾角，從而獲得車道中線，即夾角的一半且過消隱點的直線；如果汽車行駛方向與車道中線之間的夾角在預(yù)設(shè)閾值范圍內(nèi)，則判斷為汽車屬于正常駕駛狀態(tài)，否則判斷為車輛行駛偏離車道。