[發明專利]融合關鍵點定位及圖像分類的駕駛員疲勞駕駛檢測方法、設備、介質

在審

• 申請號: 202010965593.0
• 申請日: 2020-09-15
• 公開（公告）號: CN112419670A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 紀向陽
• 申請（專利權）人: 深圳市點創科技有限公司
• 主分類號: G08B21/06
• 分類號: G08B21/06;G06N3/08;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 葛燕婷

本發明提供融合關鍵點定位及圖像分類的駕駛員疲勞駕駛檢測方法，包括步驟：檢測采集的駕駛員圖像中的人臉，摳取人臉區域；對人臉區域進行關鍵點定位；根據獲取的關鍵點計算關鍵點最小外接矩形，從原圖中裁剪矩形區域，得到關鍵點部位圖片，對關鍵點部位圖片進行分類；若連續若干幀圖像中出現預設數量幀以上疲勞動作則判斷出現疲勞動作，觸發疲勞預警。本發明涉及電子設備和存儲介質，用于執行上述方法。本發明在獲取人臉關鍵點后，取環眼睛和環嘴唇關鍵點，計算最小外接矩形，摳取眼睛和嘴巴部位圖像，采用神經網絡進行分類，判斷是否閉眼和打哈欠，對關鍵點定位要求不高，同時能夠極大提高閉眼與打哈欠判別的準確度。

技術領域

本發明涉及主動安全防御性駕駛技術領域，尤其涉及融合關鍵點定位及圖像分類的駕駛員疲勞駕駛檢測方法、設備、介質。

背景技術

疲勞駕駛檢測包括閉眼與打哈欠兩個行為檢測，現有技術主要采用關鍵點定位技術結合距離或橢圓曲率進行判斷。一般流程為對圖像中人臉進行人臉關鍵點定位，獲取眼睛部位關鍵點，采用上下關鍵點距離或采用多個關鍵點計算橢圓曲率來判斷眼睛的開合程度，大于設定閾值則為睜眼，小于為閉眼。對于哈欠采用類似的方法進行判斷，首先獲取嘴巴處關鍵點，采用內唇上下關鍵點距離或環內唇一周關鍵點計算橢圓曲率進行哈欠判斷。上述方法對關鍵點定位精準度要求十分高，由于現實環境圖像變化差異大、司機可能佩戴眼鏡口罩以及模型估計波動所帶來的誤差等原因，關鍵點尤其是眼睛部位關鍵點無法做到無偏差定位，因此會導致疲勞檢測誤判或漏判率上升。

發明內容

為了克服現有技術的不足，本發明的目的在于提供融合關鍵點定位及圖像分類的駕駛員疲勞駕駛檢測方法，解決了現有技術對關鍵點定位精準度要求高，導致疲勞檢測誤判或漏判率上升的問題。

本發明提供融合關鍵點定位及圖像分類的駕駛員疲勞駕駛檢測方法，包括以下步驟：

人臉識別，檢測采集的駕駛員圖像中的人臉，摳取人臉區域；

人臉關鍵點定位，對所述人臉區域進行關鍵點定位；

疲勞行為檢測，根據獲取的關鍵點計算關鍵點最小外接矩形，從原圖中裁剪矩形區域，得到關鍵點部位圖片，對所述關鍵點部位圖片進行分類；

疲勞預警，若連續第一預設數量幀圖像中出現第二預設數量幀以上疲勞動作則判斷出現疲勞動作，觸發疲勞預警，提示司機。

進一步地，所述人臉識別步驟中，采用mobile-ssd目標檢測神經網絡檢測所述駕駛員圖像中的人臉。

進一步地，所述采用mobile-ssd目標檢測神經網絡檢測采集的駕駛員圖像中的人臉包括對所述駕駛員圖像采用雙線性插值進行縮放和歸一化處理，將歸一化處理結果輸入mobile-ssd目標檢測神經網絡進行推理，若檢測到人臉，則摳取人臉區域，若未檢測到人臉，則結束本次疲勞檢測。

進一步地，所述人臉關鍵點定位步驟中，采用spf神經網絡進行關鍵點定位對所述人臉區域進行關鍵點定位。

進一步地，采用spf神經網絡進行關鍵點定位對所述人臉區域進行關鍵點定位包括將所述人臉區域圖像進行縮放和歸一化處理，將歸一化處理結果輸入spf神經網絡進行處理，獲得人臉關鍵點圖像坐標。

進一步地，所述疲勞行為檢測步驟包括獲取環眼睛關鍵點，根據所述環眼睛關鍵點計算得到左眼或右眼的最小外接矩形，從原圖中裁剪左眼或右眼的最小外接矩形區域得到左眼或右眼圖片，將待分類的左眼或右眼圖片輸入分類神經網絡，判斷得到睜眼、閉眼、其他三類其中之一。

進一步地，所述疲勞行為檢測步驟中還包括獲取環嘴唇關鍵點，根據所述環嘴唇關鍵點計算得到嘴巴的最小外接矩形，從原圖中裁剪嘴巴的最小外接矩形區域得到嘴巴圖片，將待分類的嘴巴圖片輸入分類神經網絡，判斷得到哈欠、正常、其他三類結果其中之一。