[發明專利]一種基于深度學習計算機視覺的哨兵瞌睡智能監控系統

在審

• 申請號: 201810434067.4
• 申請日: 2018-05-08
• 公開（公告）號: CN108710839A
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 桑遠超;陳龍
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G08B21/06
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明涉及哨兵執勤狀態監控系統的技術領域，更具體地，涉及一種基于深度學習計算機視覺的哨兵瞌睡智能監控系統。一種基于深度學習計算機視覺的哨兵瞌睡智能監控系統，其中，包括數據采集單元、數據處理單元、數據分析單元和報警單元，四個單元依次相連。本發明使用卷積神經網絡進行人臉檢測和人臉對齊，通過使用豐富的訓練數據進行模型訓練，能達到實際可用的泛化性能，能魯棒的識別出眼鏡和嘴巴兩個特征部位的狀態，并且輸出頭部位置的姿勢估計，準確率高。

技術領域

本發明涉及哨兵執勤狀態監控系統的技術領域，更具體地，涉及一種基于深度學習計算機視覺的哨兵瞌睡智能監控系統。

背景技術

現有哨兵防瞌睡系統裝置主要基于傳統的計算機視覺技術，即從圖像中識別人工經驗的特征分析圖像中的信息。公告號為CN103632485A的中國發明專利，利用自然光源在眼球表面形成凸面鏡效應，采用遞歸LBP算子、Gabor特征以及色彩聯合進行眼瞼狀態識別，眼瞼狀態分析系統對值班員眼球活動狀態實時監測。當值班員長時間處于閉眼狀態時，系統立即通過聲音以及在畫面上彈出紅色報警信息，進行現場提示和警報。基于人工設計的圖像特征識別，泛化性能低，檢測精度不高，很有可能因為環境的變化而檢測不到眼瞼目標。

另外，根據生理學分析，人在陷入睡眠前通常會出現睜閉眼交替，點頭頻繁的瞌睡現象，這個階段的哨兵已經達不到崗位要求的警惕性，有可能因此釀成執勤事故。現有方案中，當哨兵長時間處于閉眼狀態時才激活報警，此時哨兵已經完全進入了睡眠，這樣的報警顯然是不及時的。

上述現有技術的缺陷是：

1、魯棒性不高。主要體現自兩個方面：（1）基于傳統的機器視覺技術目標識別不準確，現有方案中眼瞼狀態分析系統利用自然光源在眼球表面形成凸面鏡效應，采用遞歸LBP算子、Gabor特征以及色彩聯合進行眼瞼狀態識別。其中LBP算子的最大缺陷在于它只覆蓋了一個固定半徑范圍內的小區域，這顯然不能滿足不同尺寸和頻率紋理的需要，不適于相貌膚色各不相同的人臉；且哨位一般是室內環境，缺乏自然光源，凸透鏡效應不明顯，這都導致現有方案對眼瞼狀態的跟蹤不是很穩定，易丟失眼瞼目標或者導致誤判。（2）檢測特征單一，不夠魯棒。人的瞌睡往往伴有哈欠和點頭等行為動作，僅僅基于眼瞼的閉合來判斷是否瞌睡，忽略了嘴巴和頭部姿勢等有用信息，使得判別魯棒性不高。

2、報警不及時。當哨兵長時間處于閉眼狀態時才激活報警，哨兵已經完全進入了睡眠，這樣的報警是不及時的。因為哨兵在陷入睡眠前通常會經過一個睜閉眼、點頭頻繁的瞌睡階段，這個階段的哨兵的精神狀態已經達不到崗位的要求，可能導致執勤事故發生，更有效的報警應該能識別這個階段的哨兵精神狀態并發出警報。

發明內容

本發明為克服上述現有技術所述的至少一種缺陷，提供一種基于深度學習計算機視覺的哨兵瞌睡智能監控系統，引入深度卷積神經網絡進行人臉檢測、人臉對齊和頭部姿勢估計，能大幅提升系統的魯棒性；采用隱馬爾科夫模型進行狀態的時序建模，在哨兵完全陷入睡眠之前識別出瞌睡并發出警報，解決報警不及時的問題。

本發明的技術方案是：一種基于深度學習計算機視覺的哨兵瞌睡智能監控系統，其中，包括數據采集單元、數據處理單元、數據分析單元和報警單元，四個單元依次相連。

進一步的，所述的數據采集單元是一臺標清攝像機，安裝在執勤人員前上方、可拍攝正面的位置。

進一步的，所述數據處理單元是一臺配備高性能GPU的主機或者服務器，部署有預先訓練好的多任務級聯卷積神經網絡（MTCNN），能同時實現人臉檢測、人臉對齊和頭部姿勢估計。具體的，此神經網絡模型提取多個卷積層的特征做多任務學習，層數較淺的卷積層包含較多的細節、局部信息，用于于關鍵點定位和姿態估計，對于層數較深的卷積層則包含較多的整體信息，用于人臉檢測。構建fusion-CNN將多層的特征信息線性或非線性的結合到一塊子空間上，利用該fusion-CNN輸出的特征做多任務學習，輸出時刻的面部特征和姿勢估計。