[發明專利]基于雙目攝像頭的安全作業智能監控系統及方法

在審

• 申請號: 201710283430.2
• 申請日: 2017-04-26
• 公開（公告）號: CN106898119A
• 公開（公告）日: 2017-06-27
• 發明（設計）人: 武立輝
• 申請（專利權）人: 華迅金安（北京）科技有限公司
• 主分類號: G08B21/06
• 分類號: G08B21/06;G06K9/00
• 代理公司: 北京匯信合知識產權代理有限公司11335
• 代理人: 王秀麗

技術領域

本發明涉及圖像處理、模式識和自動化技術領域，尤其涉及基于雙目攝像頭的安全作業智能監控系統及方法。

背景技術

疲勞駕駛是導致高交通事故中比較重要的因素，因而如何高效、準確、快速的檢測駕駛員是否在疲勞駕駛，并在已知疲勞駕駛的情況下如何防止，就顯得尤為重要。

目前檢測疲勞駕駛的技術手段主要是通過機器視覺的方式，主要檢測眼睛或嘴巴的運動狀態(是否閉合、張開等狀態)，通過某種狀態機判斷當前是否是疲勞駕駛狀態；由于受駕駛艙環境光照等復雜多變的因素影響，導致檢測眼睛或嘴巴的位置定位不夠準確，結果會導致估計眼睛或嘴巴的運動狀態不夠精確，導致無檢測概率比較大，而且對檢測到的疲勞駕駛狀態都是通過語音進行報警，這樣從本質上沒有制止疲勞駕駛帶來的交通事故。

發明內容

針對上述問題中存在的不足之處，本發明提供一種基于雙目攝像頭的安全作業智能監控系統及方法。

為實現上述目的，本發明的第一目的在于提供一種基于雙目攝像頭的安全作業智能監控系統，包括：設置在駕駛員前方的智能設備、車載中控臺和安裝在駕駛員座椅上的振動反饋裝置；

所述智能設備包括：

左攝像頭，用于拍攝包含眼睛和嘴巴的左圖像數據；

右攝像頭，用于拍攝包含眼睛和嘴巴的右圖像數據；

處理器，用于對左右圖像數據進行濾波、ROI區域提取、深度計算，獲取ROI區域的深度圖像；將深度圖像送入到離線訓練得到的眼睛、嘴巴識別模型中，獲取眼睛和嘴巴圖像區域；對眼睛和嘴巴圖像區域進行邊緣點檢測，計算沿眼睛或嘴巴閉合方向上相對應兩邊緣點的最大距離，作為眼睛關鍵距離和嘴巴關鍵距離；判斷眼睛關鍵距離是否小于閾值T1、嘴巴關鍵距離是否大于閾值T2，若是，則證明眼睛閉合、嘴巴張開；繼續判斷在預設時間A內，眼睛閉合和/或嘴巴張開的時間是否達到報警閾值；若達到，則向車載中控臺發送報警指令；

車載中控臺接收報警指令，控制振動反饋裝置振動，實現對駕駛員的提醒。

作為本發明的進一步改進，所述處理器包括：

濾波模塊，用于對左右圖像數據分別進行高斯平滑濾波，平滑窗口為7*7；

ROI區域提取模塊，用于對濾波后的左右圖像數據，提取包含眼睛和嘴巴信息的左ROI區域和右ROI區域；

深度圖像獲取模塊，用于利用雙目攝像頭的標定參數及雙目成像原理，對左右ROI區域進行深度計算，獲取ROI區域的深度圖像；

識別模型建立模塊，用于對采集的大樣本進行半監督隨機森林學習，人工對大樣本ROI區域中駕駛員的眼睛和嘴巴進行分類，建立眼睛、嘴巴的識別模型；該樣本包括：嘴巴的張開及閉合、眼睛的張開及閉合；

識別模塊，用于將ROI區域的深度圖像送入到識別模型中，進行像素分類，獲取眼睛和嘴巴圖像區域；并對眼睛和嘴巴圖像區域分別進行PCA計算，獲取眼睛區域和嘴巴區域的二維圖像方向；

邊緣檢測模塊，用于對眼睛和嘴巴圖像區域分別進行邊緣檢測，將檢測到的邊緣點按照順時針或逆時針進行排序，得到由邊緣點組成的眼睛輪廓和嘴巴輪廓；根據眼睛和嘴巴輪廓以及眼睛區域和嘴巴區域的二維圖像方向，得到眼睛分割線和嘴巴分割線，計算眼睛分割線或嘴巴分割線兩側相對應的眼睛邊緣點或嘴巴邊緣點之間的最大距離，作為眼睛關鍵距離和嘴巴關鍵距離；

判斷模塊，用于判斷眼睛關鍵距離是否小于閾值T1、嘴巴關鍵距離是否大于閾值T2，若是，則證明眼睛閉合、嘴巴張開；繼續判斷在預設時間A內，眼睛閉合和/或嘴巴張開的時間是否達到報警閾值；若達到，則向車載中控臺發送報警指令。

作為本發明的進一步改進，所述報警閾值為A1、A2、A3，其中：0＜A1＜A2＜A3＜A；

當眼睛閉合和/或嘴巴張開的時間大于A1且小于A2，則處理器向車載中控臺發送振動模式1的報警指令，振動模式1為慢速振動；

當眼睛閉合和/或嘴巴張開的時間大于A2且小于A3，則處理器向車載中控臺發送振動模式2的報警指令，振動模式2為中速振動；

當眼睛閉合和/或嘴巴張開的時間大于A3且小于A，則處理器向車載中控臺發送振動模式3的報警指令，振動模式3為快速振動。

作為本發明的進一步改進，所述智能設備安裝在駕駛員前方的儀表盤上。

作為本發明的進一步改進，所述車載中控臺與處理器、振動反饋裝置的數據傳輸形式均采用藍牙傳輸。

本發明的第二目的在于提供一種基于雙目攝像頭的安全作業智能監控方法，包括：