[發(fā)明專利]融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法、設(shè)備、介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010965593.0
• 申請(qǐng)日: 2020-09-15
• 公開（公告）號(hào): CN112419670A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)向陽
• 申請(qǐng)（專利權(quán)）人: 深圳市點(diǎn)創(chuàng)科技有限公司
• 主分類號(hào): G08B21/06
• 分類號(hào): G08B21/06;G06N3/08;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 葛燕婷

1.融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于，包括以下步驟：

人臉識(shí)別，檢測采集的駕駛員圖像中的人臉，摳取人臉區(qū)域；

人臉關(guān)鍵點(diǎn)定位，對(duì)所述人臉區(qū)域進(jìn)行關(guān)鍵點(diǎn)定位；

疲勞行為檢測，根據(jù)獲取的關(guān)鍵點(diǎn)計(jì)算關(guān)鍵點(diǎn)最小外接矩形，從原圖中裁剪矩形區(qū)域，得到關(guān)鍵點(diǎn)部位圖片，對(duì)所述關(guān)鍵點(diǎn)部位圖片進(jìn)行分類；

疲勞預(yù)警，若連續(xù)第一預(yù)設(shè)數(shù)量幀圖像中出現(xiàn)第二預(yù)設(shè)數(shù)量幀以上疲勞動(dòng)作則判斷出現(xiàn)疲勞動(dòng)作，觸發(fā)疲勞預(yù)警，提示司機(jī)。

2.如權(quán)利要求1所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：所述人臉識(shí)別步驟中，采用mobile-ssd目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)檢測所述駕駛員圖像中的人臉。

3.如權(quán)利要求2所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：所述采用mobile-ssd目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)檢測采集的駕駛員圖像中的人臉包括對(duì)所述駕駛員圖像采用雙線性插值進(jìn)行縮放和歸一化處理，將歸一化處理結(jié)果輸入mobile-ssd目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行推理，若檢測到人臉，則摳取人臉區(qū)域，若未檢測到人臉，則結(jié)束本次疲勞檢測。

4.如權(quán)利要求1所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：所述人臉關(guān)鍵點(diǎn)定位步驟中，采用spf神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)定位對(duì)所述人臉區(qū)域進(jìn)行關(guān)鍵點(diǎn)定位。

5.如權(quán)利要求4所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：采用spf神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)鍵點(diǎn)定位對(duì)所述人臉區(qū)域進(jìn)行關(guān)鍵點(diǎn)定位包括將所述人臉區(qū)域圖像進(jìn)行縮放和歸一化處理，將歸一化處理結(jié)果輸入spf神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，獲得人臉關(guān)鍵點(diǎn)圖像坐標(biāo)。

6.如權(quán)利要求1所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：所述疲勞行為檢測步驟包括獲取環(huán)眼睛關(guān)鍵點(diǎn)，根據(jù)所述環(huán)眼睛關(guān)鍵點(diǎn)計(jì)算得到左眼或右眼的最小外接矩形，從原圖中裁剪左眼或右眼的最小外接矩形區(qū)域得到左眼或右眼圖片，將待分類的左眼或右眼圖片輸入分類神經(jīng)網(wǎng)絡(luò)，判斷得到睜眼、閉眼、其他三類其中之一。

7.如權(quán)利要求6所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：所述疲勞行為檢測步驟中還包括獲取環(huán)嘴唇關(guān)鍵點(diǎn)，根據(jù)所述環(huán)嘴唇關(guān)鍵點(diǎn)計(jì)算得到嘴巴的最小外接矩形，從原圖中裁剪嘴巴的最小外接矩形區(qū)域得到嘴巴圖片，將待分類的嘴巴圖片輸入分類神經(jīng)網(wǎng)絡(luò)，判斷得到哈欠、正常、其他三類結(jié)果其中之一。

8.如權(quán)利要求7所述的融合關(guān)鍵點(diǎn)定位及圖像分類的駕駛員疲勞駕駛檢測方法，其特征在于：所述疲勞預(yù)警步驟中，若連續(xù)第一預(yù)設(shè)數(shù)量幀圖像中出現(xiàn)第二預(yù)設(shè)數(shù)量幀以上閉眼或哈欠則判斷為閉眼或哈欠，觸發(fā)疲勞預(yù)警，提示司機(jī)。

9.一種電子設(shè)備，其特征在于包括：處理器；

存儲(chǔ)器；以及程序，其中所述程序被存儲(chǔ)在所述存儲(chǔ)器中，并且被配置成由處理器執(zhí)行，所述程序包括用于執(zhí)行權(quán)利要求1-8任意一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行如權(quán)利要求1-8任意一項(xiàng)所述的方法。