[發(fā)明專利]基于人體骨架的科目三安全員作弊行為檢測(cè)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211301694.3
• 申請(qǐng)日: 2022-10-24
• 公開（公告）號(hào): CN115601733A
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計(jì)）人: 孫茂芬;章道揚(yáng);章安強(qiáng);張鐵監(jiān);汪洋;葉劍
• 申請(qǐng)（專利權(quán)）人: 多倫科技股份有限公司
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V40/20;G06V10/34;G06V10/44;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 田凌濤

1.基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：針對(duì)機(jī)動(dòng)車駕駛?cè)丝颇咳荚囓噧?nèi)的視頻影像，執(zhí)行以下步驟，判斷科目三車內(nèi)的安全員是否存在預(yù)設(shè)各類型的違規(guī)作弊行為：

步驟A：基于機(jī)動(dòng)車駕駛?cè)丝颇咳荚囓噧?nèi)的視頻影像，利用預(yù)訓(xùn)練的以幀圖片為輸入，以該幀圖片中各人對(duì)應(yīng)的人體矩形框、矩形框坐標(biāo)信息和矩形框置信度為輸出的人體目標(biāo)識(shí)別模型，獲得幀圖片中各人分別對(duì)應(yīng)的人體矩形框、矩形框坐標(biāo)信息和各矩形框置信度，進(jìn)而獲得安全員對(duì)應(yīng)的人體矩形框；

步驟B：基于人體目標(biāo)識(shí)別模型輸出的安全員對(duì)應(yīng)的人體矩形框，利用預(yù)訓(xùn)練的以人體矩形框?yàn)檩斎?，該人體矩形框中人體的各預(yù)設(shè)關(guān)鍵點(diǎn)為輸出的關(guān)鍵點(diǎn)識(shí)別模型，獲得安全員人體的各預(yù)設(shè)關(guān)鍵點(diǎn)；

步驟C：基于關(guān)鍵點(diǎn)識(shí)別模型輸出的安全員人體的各預(yù)設(shè)關(guān)鍵點(diǎn)，進(jìn)行安全員行為識(shí)別，進(jìn)而判斷科目三車內(nèi)的安全員是否存在預(yù)設(shè)各類型的違規(guī)作弊行為。

2.根據(jù)權(quán)利要求1所述基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：所述步驟A中，針對(duì)幀圖片中各人分別對(duì)應(yīng)的人體矩形框、矩形框坐標(biāo)信息和矩形框置信度，基于預(yù)設(shè)置信度閾值，獲得各高于預(yù)設(shè)置信度閾值的人體矩形框，進(jìn)而基于各人體矩形框坐標(biāo)信息，將各矩形框左上角橫坐標(biāo)最小對(duì)應(yīng)的矩形框作為安全員對(duì)應(yīng)的人體矩形框。

3.根據(jù)權(quán)利要求1所述基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：所述步驟A中，所述人體目標(biāo)識(shí)別模型采用Yolo-V5網(wǎng)絡(luò)模型，其中采用Focus結(jié)構(gòu)和CSP結(jié)構(gòu)作為Yolo-V5網(wǎng)絡(luò)的backbone，采用FPN+PAN結(jié)構(gòu)作為Yolo-V5網(wǎng)絡(luò)的neck，采用bbox_head作為Yolo-V5網(wǎng)絡(luò)的YoloHead。

4.根據(jù)權(quán)利要求1所述基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：所述步驟A中，所述預(yù)訓(xùn)練的人體目標(biāo)識(shí)別模型通過COCO數(shù)據(jù)集和歷史機(jī)動(dòng)車駕駛?cè)丝颇咳荚囓噧?nèi)的圖片數(shù)據(jù)集，基于人體矩形框作為數(shù)據(jù)集標(biāo)簽進(jìn)行預(yù)訓(xùn)練，再基于包含安全員違規(guī)作弊行為科目三車內(nèi)圖片數(shù)據(jù)集作為正樣本集，不包含安全員違規(guī)作弊行為科目三車內(nèi)圖片數(shù)據(jù)集作為負(fù)樣本集進(jìn)行針對(duì)性訓(xùn)練獲得；

所述步驟B中，所述預(yù)訓(xùn)練的關(guān)鍵點(diǎn)識(shí)別模型通過COCO數(shù)據(jù)集和歷史機(jī)動(dòng)車駕駛?cè)丝颇咳荚囓噧?nèi)的圖片數(shù)據(jù)集，基于人體各預(yù)設(shè)關(guān)鍵點(diǎn)作為數(shù)據(jù)集標(biāo)簽進(jìn)行預(yù)訓(xùn)練，再基于包含安全員違規(guī)作弊行為科目三車內(nèi)圖片數(shù)據(jù)集作為正樣本集，不包含安全員違規(guī)作弊行為科目三車內(nèi)圖片數(shù)據(jù)集作為負(fù)樣本集進(jìn)行針對(duì)性訓(xùn)練獲得；

針對(duì)各數(shù)據(jù)集采用數(shù)據(jù)翻轉(zhuǎn)與數(shù)據(jù)裁剪進(jìn)行數(shù)據(jù)擴(kuò)充，并將各數(shù)據(jù)歸一化為(-0.5,0.5)。

5.根據(jù)權(quán)利要求1所述基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：所述步驟B中，所述關(guān)鍵點(diǎn)識(shí)別模型采用Lite HRNet網(wǎng)絡(luò)模型結(jié)合Top-Bottom方式進(jìn)行關(guān)鍵點(diǎn)識(shí)別，其中采用優(yōu)化的Lite-HRNet-18作為Lite HRNet網(wǎng)絡(luò)的backbone和neck，采用Top Down Simple Head作為Lite HRNet網(wǎng)絡(luò)的keypoint_head。

6.根據(jù)權(quán)利要求1所述基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：所述Lite HRNet網(wǎng)絡(luò)模型中采用Hardswish激活函數(shù)，將Sigmoid激活函數(shù)替換為0.5* (x/(1+torch.abs(x)))+0.5。

7.根據(jù)權(quán)利要求1所述基于人體骨架的科目三安全員作弊行為檢測(cè)方法，其特征在于：所述步驟B中，所述各預(yù)設(shè)關(guān)鍵點(diǎn)包括人體鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左腳、右腳。