[發明專利]一種基于骨架數據行為識別的司機疲勞檢測方法

有效

• 申請號: 202010944605.1
• 申請日: 2020-09-10
• 公開（公告）號: CN112131981B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 周斌;張藝;周洪超
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

1.一種基于骨架數據行為識別的司機疲勞檢測方法，其特征在于，包括步驟如下：

A、訓練基于注意力機制的卷積神經網絡模型

(1)采集駕駛室中不同時間、不同對象的多段監控視頻；

(2)提取步驟(1)獲取的視頻中司機頭部每一幀的骨架關鍵點數據；

(3)對采集到的骨架關鍵點數據進行篩選，制作標簽，構建數據集；

(4)基于步驟(3)的數據集訓練設計好的基于注意力機制的卷積神經網絡模型，基于注意力機制的卷積神經網絡模型包括依次連接的基于LSTM的時空注意力模塊和基于CNN的時空特征提取網絡；

所述基于LSTM的時空注意力模塊包括依次連接的時間注意力模塊及空間注意力模塊；所述時間注意力模塊用于對不同的幀數據賦予不同大小的關注；所述空間注意力模塊用于對每一幀的7個關鍵點賦予不同大小的關注；

所述時間注意力模塊包括依次連接的LSTM、第一全連接層、第二全連接層、第一Softmax層；所述空間注意力模塊包括依次連接的第三全連接層、第四全連接層、第二Softmax層；

所述基于CNN的時空特征提取網絡包括兩組卷積層組、級聯層、第一卷積層、第二卷積層、池化層、第五全連接層、第六全連接層；兩組卷積層組均連接所述級聯層，所述級聯層、第一卷積層、第二卷積層、池化層、第五全連接層、第六全連接層依次連接；每組卷積層組包括三層依次連接的卷積層；

B、通過步驟A訓練好的基于注意力機制的卷積神經網絡模型進行司機疲勞檢測

(5)實時采集駕駛室中的監控視頻，提取司機頭部每一幀的骨架關鍵點數據，輸入到訓練好的基于注意力機制的卷積神經網絡模型中，輸出司機低頭、抬頭、仰頭、點頭、仰頭狀態恢復至平視、其它動作的檢測結果，根據疲勞檢測算法判斷司機是否處于疲勞狀態，若司機存在疲勞狀態，則發出預警信號提醒司機及工作人員；

步驟(4)中，基于步驟(3)的數據集訓練設計好的基于注意力機制的卷積神經網絡模型，包括步驟如下：

d、第t幀的骨架關鍵點數據x_t輸入到LSTM中，輸出LSTM的隱藏層變量h_t，x_t和前一時刻的隱藏層變量h_t-1輸入到第一全連接層，經過tanh激活函數和第二全連接層得到如式(I)所示：

式(I)中，W₁^(time)是h_t-1對應的第一全連接層的權重矩陣，是x_t對應的第一全連接層的權重矩陣，w^(time)是第二全連接層的權重矩陣，b^(time)是第一全連接層的偏置項；

e、經過第一Softmax層輸出權重參數如式(Ⅱ)所示：

式(Ⅱ)中，T為動作的總幀數；

f、所述時間注意力模塊輸出第t幀數據f_t，如式(III)所示：

g、將時間注意力模塊輸出第t幀數據f_t和LSTM前一時刻的隱藏層變量h_t-1輸入到第三全連接層，經過tanh激活函數和第四全連接層得到如式(IV)所示：

式(IV)中，W₁^(space)是h_t-1對應的第三全連接層的權重矩陣，是f_t對應的第三全連接層的權重矩陣，w^(space)是第四全連接層的權重矩陣，b^(space)是第三全連接層的偏置項；

h、經過第二Softmax層輸出第t幀的第i個關鍵點的權重參數如式(Ⅴ)所示：

式(Ⅴ)中，N＝n*d，n為頭部的骨架關鍵點個數，d為關鍵點的坐標的維度，是的第i個元素；

i、所述空間注意力模塊輸出的第t幀第i個骨架關鍵點數據為s_t,i，如式(Ⅵ)所示：

式(Ⅵ)中，f_t,i是f_t的第i個元素；

j、骨架數據經過所述基于LSTM的時空注意力模塊輸出X，如式(Ⅶ)所示：

k、計算空間特征，空間特征是指每一幀相鄰骨架關鍵點之間的坐標差Space，如式(Ⅷ)所示；

計算時間特征，時間特征是指兩個連續幀之間每個關鍵點的坐標差來表示時間特征Time，如式(Ⅸ)所示；

通過插值調整空間特征及時間特征的數據維度為T*n*d；

l、分別將空間特征和時間特征輸入到兩組卷積層組中進行特征提取；

m、通過兩組卷積層提取的兩部分特征映射通過所述級聯層級聯；

n、輸入到第一卷積層、第二卷積層中進行特征融合，并最終經過全連接層進行分類，第六全連接層的輸出通過softmax函數輸出預測6種動作的概率，概率最大的動作就是最終分類的結果。