[發(fā)明專利]基于空間幾何約束深度學(xué)習(xí)的疲勞狀態(tài)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710261386.5
• 申請(qǐng)日: 2017-04-20
• 公開(kāi)（公告）號(hào): CN107038422B
• 公開(kāi)（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 佘青山;田卓;高云園;張啟忠
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 杜軍

1.基于空間幾何約束深度學(xué)習(xí)的疲勞狀態(tài)識(shí)別方法，其特征在于該方法包括如下步驟：

步驟(1)對(duì)攝像頭采集的駕駛員頭部圖像進(jìn)行人臉檢測(cè)，得到人臉區(qū)域圖像；

步驟(2)建立基于人臉特征點(diǎn)定位和姿態(tài)回歸任務(wù)協(xié)同的深度卷積網(wǎng)絡(luò)模型，相應(yīng)的目標(biāo)函數(shù)如式(1)，以人臉區(qū)域圖像數(shù)據(jù)作為網(wǎng)絡(luò)輸入，將人臉特征點(diǎn)定位和姿態(tài)估計(jì)兩個(gè)任務(wù)協(xié)同優(yōu)化，同時(shí)回歸得到人臉特征點(diǎn)坐標(biāo)和姿態(tài)角度值；

其中，任務(wù)r代表人臉特征點(diǎn)檢測(cè)定位任務(wù)，任務(wù)a表示頭部姿態(tài)估計(jì)；N表示樣本的總數(shù)；λ∈(0,1)表示頭部姿態(tài)估計(jì)在整個(gè)任務(wù)中所占的權(quán)重；W表示各個(gè)任務(wù)的待學(xué)習(xí)權(quán)重矩陣；x_i表示兩個(gè)任務(wù)共享的特征表達(dá)；表示K個(gè)人臉特征點(diǎn)二維坐標(biāo)構(gòu)成的向量，表示頭部姿態(tài)歐拉角，包括平動(dòng)角(Yaw)、轉(zhuǎn)動(dòng)角(Pitch)、滾動(dòng)角(Roll)；f(x_i；W^r)＝(W^r)^Tx_i為一個(gè)線性回歸函數(shù)，f(x_i；W^a)＝(W^a)^Tx_i也是一個(gè)線性回歸函數(shù)；||·||表示l₂范數(shù)；

步驟(3)采用空間幾何約束方法對(duì)基于任務(wù)協(xié)同的深度卷積網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，對(duì)應(yīng)的目標(biāo)函數(shù)如式(2)，提高人臉特征點(diǎn)定位的魯棒性，加快網(wǎng)絡(luò)訓(xùn)練的收斂時(shí)間；

其中，表示估計(jì)的人臉特征點(diǎn)坐標(biāo)值與實(shí)際標(biāo)簽值的損失；S₁,S₂,...,S₆分別表示固定特征數(shù)所對(duì)應(yīng)的六點(diǎn)組合，其中S₁為右眼的左右眼角、左眼的左眼角、鼻翼的右側(cè)端部、嘴巴的左右角，S₂為右眼的左右眼角、左眼的右眼角、鼻翼的右側(cè)端部、嘴巴的左右角，S₃為右眼的左右眼角、左眼的左眼角、鼻翼的左右側(cè)端部、嘴巴的左角，S₄為右眼的左右眼角、左眼的右眼角、鼻翼的左右側(cè)端部、嘴巴的左角，S₅為右眼的左右眼角、左眼的左眼角、鼻翼的左側(cè)端部、嘴巴的左右角，S₆為右眼的左右眼角、左眼的右眼角、鼻翼的左側(cè)端部、嘴巴的左右角；表示第i個(gè)樣本第j個(gè)組合的固定特征數(shù)；是從第i個(gè)樣本第j個(gè)組合中計(jì)算出的實(shí)際特征數(shù)；η∈(0,1)表示約束項(xiàng)的權(quán)重；

步驟(4)利用人臉特征點(diǎn)坐標(biāo)和頭部姿態(tài)角度信息提取眼部狀態(tài)、嘴巴形狀、頭部姿態(tài)多個(gè)疲勞特征，然后采用粗糙集方法對(duì)特征信息進(jìn)行融合決策，以評(píng)估駕駛員疲勞狀態(tài)。