[發明專利]一種多特征維度的人員疲勞狀態確認方法及裝置

在審

• 申請號: 202210009014.4
• 申請日: 2022-01-05
• 公開（公告）號: CN114387677A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 李華亮;劉羽中;范圣平;沈雅利;王琪如;熊超琳
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司電力科學研究院
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06V40/16;G06V40/10;G06V40/18;G06V20/40;G06V10/82;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 鐘文瀚

1.一種多特征維度的人員疲勞狀態確認方法，其特征在于，包括：

通過mtcnn人臉檢測神經網絡按幀對視頻圖像進行人臉檢測，對含有人臉的視頻幀進行標注，得到人臉關鍵點；

根據所述人臉關鍵點進行計算，得到頭部歐拉角，并根據所述頭部歐拉角的變化確認工作者的頭部疲勞狀態；

通過efficientdet深度神經網絡對所述視頻幀進行特征提取，得到所述工作者的眼部信息和嘴部信息；

通過efficientdet深度神經網絡檢測所述眼部信息和所述嘴部信息，得到所述工作者的眼睛閉合程度和哈欠頻率，并分別根據所述眼睛閉合程度和所述哈欠頻率得到所述工作者的眼部疲勞狀態和哈欠狀態；

根據所述頭部疲勞狀態、所述眼部疲勞狀態和所述哈欠狀態，確認所述工作者的疲勞狀態。

2.如權利要求1所述的多特征維度的人員疲勞狀態確認方法，其特征在于，所述根據所述人臉關鍵點進行計算，得到頭部歐拉角，并根據所述頭部歐拉角的變化確認工作者的頭部姿態，具體包括：

將所述人臉關鍵點輸入位姿估計庫進行估計，得到頭部旋轉向量；

對所述頭部旋轉向量進行轉換，得到頭部旋轉矩陣；

對所述頭部旋轉矩陣進行計算，得到含有偏航角和滾轉角的頭部歐拉角；

分別根據所述偏航角的變化范圍和所述滾轉角的變化范圍，得到工作者的點頭信息和搖頭信息；

根據所述點頭信息和所述搖頭信息確認所述工作者的頭部疲勞狀態。

3.如權利要求1所述的多特征維度的人員疲勞狀態確認方法，其特征在于，所述工作者的眼部疲勞狀態的具體獲得方式為：

對所述眼部信息按時間順序進行標記，得到眼部狀態信息；

通過efficientdet深度神經網絡檢測所述眼部狀態信息，生成眨眼信息；

根據所述眨眼信息計算所述工作者單位時間內的眼睛閉合程度；

若眼睛閉合程度大于或等于預設閉合閾值，所述工作者眼部處于疲勞狀態；若眼睛閉合程度小于預設閉合閾值，所述工作者眼部處于正常狀態。

4.如權利要求1所述的多特征維度的人員疲勞狀態確認方法，其特征在于，所述工作者的哈欠狀態的具體獲得方式為：

對所述眼部信息按時間順序進行標記，得到嘴部狀態信息；

通過efficientdet深度神經網絡檢測所述嘴部狀態信息，生成張嘴信息；

根據所述張嘴信息計算所述工作者的哈欠頻率；

若所述工作者的哈欠頻率大于哈欠閾值，所述工作者嘴部處于哈欠狀態；若所述工作者的哈欠頻率小于或等于哈欠閾值，所述工作者嘴部處于正常狀態。

5.如權利要求1所述的多特征維度的人員疲勞狀態確認方法，其特征在于，所述根據所述頭部疲勞狀態、所述眼部疲勞狀態和所述哈欠狀態，確認所述工作者的疲勞狀態，具體包括：

若頭部處于疲勞狀態或者眼部處于疲勞狀態或者嘴部處于疲勞狀態，確認所述工作者處于疲勞狀態并對所述工作者發出警報。

6.一種多特征維度的人員疲勞狀態確認裝置，其特征在于，包括：

人臉檢測模塊，用于通過mtcnn人臉檢測神經網絡按幀對視頻圖像進行人臉檢測，對含有人臉的視頻幀進行標注，得到人臉關鍵點；

頭部檢測模塊，用于根據所述人臉關鍵點進行計算，得到頭部歐拉角，并根據所述頭部歐拉角的變化確認工作者的頭部疲勞狀態；

特征提取模塊，用于通過efficientdet深度神經網絡對所述視頻幀進行特征提取，得到所述工作者的眼部信息和嘴部信息；

眼嘴檢測模塊，用于通過efficientdet深度神經網絡檢測所述眼部信息和所述嘴部信息，得到所述工作者的眼睛閉合程度和哈欠頻率，并分別根據所述眼睛閉合程度和所述哈欠頻率得到所述工作者的眼部疲勞狀態和哈欠狀態；

疲勞確認模塊，用于根據所述頭部疲勞狀態、所述眼部疲勞狀態和所述哈欠狀態，確認所述工作者的疲勞狀態。