[發(fā)明專利]基于面部骨架模型的疲勞檢測系統(tǒng)、方法、介質(zhì)、檢測設(shè)備

在審

• 申請?zhí)枺?/td>: 202111043280.0
• 申請日: 2021-09-07
• 公開（公告）號: CN113920491A
• 公開（公告）日: 2022-01-11
• 發(fā)明（設(shè)計(jì)）人: 丁德瓊;胡鑫;孟升亞;初佃輝
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（威海）
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/20;G06V10/40;G06V10/764
• 代理公司: 北京匯捷知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11531
• 代理人: 盛君梅

1.一種基于面部骨架模型的駕駛疲勞檢測方法，其特征在于，所述基于面部骨架模型的駕駛疲勞檢測方法包括：

步驟一，通過攝像設(shè)備獲取駕駛員實(shí)時的RGB圖像和深度圖像，利用OpenPose人體姿態(tài)檢測模型對獲得的圖像進(jìn)行識別；

步驟二，通過針孔相機(jī)模型對獲得的識別圖像進(jìn)行3D骨骼化，利用OpenFace人臉檢測模型進(jìn)行頭部姿態(tài)特征的提取、臉部特征的提取，利用提取到的頭部和臉部的姿態(tài)特征，計(jì)算出疲勞特征；

步驟三，利用分類器對得到的疲勞特征進(jìn)行檢測，獲取疲勞檢測模型，利用所述疲勞檢測模型對疲勞進(jìn)行分級判定，并利用APP與用戶進(jìn)行交互、提醒。

2.根據(jù)權(quán)利要求1所述基于面部骨架模型的駕駛疲勞檢測方法，其特征在于，所述步驟一深度圖像的獲取包括：

采用D435深度攝像頭完成深度數(shù)據(jù)的采集，將配置好config并通過pipe進(jìn)行流式傳輸獲得采集到的深度圖像和彩色圖像，設(shè)置獲得的圖像像素比為480*640，fps為30，通過時間戳將深度圖像和彩色圖像進(jìn)行對齊，對于丟失深度信息的幀進(jìn)行補(bǔ)全和丟棄，完成數(shù)據(jù)的實(shí)時采集；

利用OpenPose人體姿態(tài)檢測模型對獲得的圖像進(jìn)行識別包括：

第一步，獲取人體關(guān)鍵點(diǎn)坐標(biāo)：

基于caffe框架搭建的cnn卷積神經(jīng)網(wǎng)絡(luò)，對攝像頭的視頻流進(jìn)行實(shí)時的檢測得到人體的二維骨架化圖象；

第二步，對第一步得到人體的二維骨架化圖象進(jìn)行識別：

(1)先識別出圖像中可能存在的所有關(guān)鍵點(diǎn)，輸出方式通過feature map，然后在輸出各個關(guān)鍵點(diǎn)之間可能的連接情況，輸出方式為關(guān)節(jié)親和場PAFS；

(2)利用VGGNet前10層進(jìn)行特征的提取，經(jīng)過heatmap和pafs預(yù)測網(wǎng)絡(luò)，該網(wǎng)絡(luò)總共有上下兩個層次，每個層次都是6個階段進(jìn)行不斷的微調(diào)，且每個階段都會將feature maps進(jìn)行生成和融合；

(3)在完成融合后，confidence map為一個2D形式，如果圖中只有一個人，confidencemap只出現(xiàn)一個峰值，當(dāng)圖像中有多個人時，對于每一個人的每一個可見關(guān)鍵點(diǎn)在對應(yīng)的confidence map都有一個峰值；進(jìn)行多人姿態(tài)估計(jì)時，圖中關(guān)鍵點(diǎn)之間存在的關(guān)系可能存在很多種可能，檢測到的所有人體骨骼之間都存在著估計(jì)兩個關(guān)節(jié)部位連接PAFS；

(4)對于關(guān)鍵點(diǎn)，用PAFS的親和場部件，結(jié)合人體的姿態(tài)形式，維持各個軀干之間的相對關(guān)系。

3.根據(jù)權(quán)利要求1所述基于面部骨架模型的駕駛疲勞檢測方法，其特征在于，所述步驟二所述3D骨骼化包括：

利用OpenPose人體姿態(tài)檢測模型識別出駕駛員上半身的特征點(diǎn)進(jìn)行姿態(tài)的識別；

利用D435深度攝像頭進(jìn)行檢測時，同時得到一幀對齊的RGB和深度圖像，利用深度攝像頭檢測到的深度信息，將OpenPose人體姿態(tài)檢測模型識別出的人體關(guān)鍵點(diǎn)2D坐標(biāo)和對應(yīng)位置的深度信息進(jìn)行結(jié)合，得到人體關(guān)鍵點(diǎn)的三元組，每一個三元組前兩個元素代表人體關(guān)鍵點(diǎn)的x和y坐標(biāo)，第三個元素代表此位置對應(yīng)的深度信息；如果這個三元組的每個值均為-1.00，則代表OpenPose檢測這幀圖像時，失去了對于此個關(guān)鍵點(diǎn)的檢測，全部設(shè)為-1.00進(jìn)行表示；

將利用姿態(tài)識別模型得到的2D關(guān)鍵點(diǎn)坐標(biāo)和深度攝像頭采集到的深度信息進(jìn)行保存，通過D435的相機(jī)內(nèi)參，將數(shù)據(jù)轉(zhuǎn)換成三維的坐標(biāo)點(diǎn)，獲得更為真實(shí)的人體姿態(tài)信息，相機(jī)的變化內(nèi)參有：camera_factor、camera_cx、camera_cy、camera_fx以及camera_fy,變換使用針孔相機(jī)模型，通過深度和2D坐標(biāo)將拍攝到的物體進(jìn)行3D還原；

將轉(zhuǎn)化后的人體3D關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行保存，獲得轉(zhuǎn)化后得到的多個人體3D關(guān)鍵點(diǎn)坐標(biāo)信息；

對得到的多個人體3D關(guān)鍵點(diǎn)坐標(biāo)信息骨架圖進(jìn)行旋轉(zhuǎn)，將3D骨架化的圖形旋轉(zhuǎn)到正面，具體包括：首先從人體的臀部和脖子之間的中心點(diǎn)開始，將中心點(diǎn)平移到原點(diǎn)上，在這個原點(diǎn)的基礎(chǔ)上圍繞著x、y、z三條軸進(jìn)行旋轉(zhuǎn)，繞軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣公式如下所示，分別是繞x軸、y軸、z軸逆時針旋轉(zhuǎn)的公式；