[發明專利]一種多特征維度的人員疲勞狀態確認方法及裝置

在審

• 申請號: 202210009014.4
• 申請日: 2022-01-05
• 公開（公告）號: CN114387677A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 李華亮;劉羽中;范圣平;沈雅利;王琪如;熊超琳
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司電力科學研究院
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06V40/16;G06V40/10;G06V40/18;G06V20/40;G06V10/82;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 鐘文瀚

本發明公開了一種多特征維度的人員疲勞狀態確認方法及裝置，所述方法包括：通過mtcnn網絡按幀對視頻圖像進行人臉檢測，對含有人臉的視頻幀進行標注，得到人臉關鍵點；根據所述人臉關鍵點進行計算，得到頭部歐拉角，并根據所述頭部歐拉角的變化確認工作者的頭部疲勞狀態；通過efficientdet網絡對所述視頻幀進行特征提取，得到所述工作者的眼部信息和嘴部信息；根據所述眼部信息和所述嘴部信息得到所述工作者的眼部疲勞狀態和哈欠狀態；根據所述頭部疲勞狀態、所述眼部疲勞狀態和所述哈欠狀態，確認所述工作者的疲勞狀態。采用本發明提供的實施例，基于多視角特征融合提高了視頻流疲勞檢測模型的魯棒性。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種多特征維度的人員疲勞狀態確認方法及裝置。

背景技術

人體疲勞檢測技術在人體健康狀況監測等領域有著巨大的應用價值。而基于面部視頻的非接觸式的疲勞檢測既可以避免接觸式設備給檢測者帶來的不適感，也可以保證疲勞檢測的準確性。傳統的基于面部視頻的非接觸式的疲勞檢測技術一般是采用基于人臉Haar特征的Adaboost算法，Adaboost算法的優點是非常簡單、泛化錯誤率低，可以應用于大部分分類器上，判斷疲勞也是一樣。但缺點也十分明顯，數據的不平衡會導致分類精度下降，并且對離群點敏感也導致Adaboost算法易受噪聲干擾。

隨著近年來疲勞檢測領域的備受關注，疲勞檢測在許多場景都得到了應用，例如專利號為201911258187.4的發明專利公開了一種疲勞駕駛檢測裝置與方法，該方法用攝像頭采集駕駛員圖像，并輸入至主控模塊，主控模塊對接收數據進行處理，實時得到疲勞特征參數，并讀取存儲模塊中的疲勞檢測標準參數，根據二者比較的結果得到疲勞程度，輸出對應控制信號到報警模塊，控制報警模塊發出設定報警信號。

現有技術在使用面部視頻數據集對深度神經網絡模型進行訓練和測試時，訓練和測試的場景基本不變，也就是測試者的背景和測試環境的光源基本不變。而在現實應用中，部署好的模型往往要面對來源復雜、場景多樣的面部視頻，而模型在訓練時所使用的數據不可能把以后要面對的所有應用場景都囊括在內，這會導致模型遷移到與訓練數據的場景差異較大的應用場景時性能下降，面部疲勞檢測試速率大幅下降。再者，現有的基于面部視頻進行疲勞判斷的技術，往往采用單一的判斷維度，而在現實應用中，人的面部疲勞信息往往會有一定的欺騙性，不同的人擁有不同的面部特征，而不同的面部特征對于深度神經網絡而言是非常大的干擾。因此，憑借單一的判斷維度對疲勞程度進行度量往往是不準確的。

發明內容

本發明實施例提供一種多特征維度的人員疲勞狀態確認方法及裝置，利用mtcnn多任務級聯卷積神經網絡進行人臉檢測，保證在多場景下測試速率；同時利用使用面部信息相關的數據集進行訓練EfficientDet深度網絡，獲取多維度特征，最后對面部疲勞狀態進行準確地判斷。

為實現上述目的，本申請實施例的第一方面提供了一種多特征維度的人員疲勞狀態確認方法，所述方法包括：

通過mtcnn人臉檢測神經網絡按幀對視頻圖像進行人臉檢測，對含有人臉的視頻幀進行標注，得到人臉關鍵點；

根據所述人臉關鍵點進行計算，得到頭部歐拉角，并根據所述頭部歐拉角的變化確認工作者的頭部疲勞狀態；

通過efficientdet深度神經網絡對所述視頻幀進行特征提取，得到所述工作者的眼部信息和嘴部信息；

通過efficientdet深度神經網絡檢測所述眼部信息和所述嘴部信息，得到所述工作者的眼睛閉合程度和哈欠頻率，并分別根據所述眼睛閉合程度和所述哈欠頻率得到所述工作者的眼部疲勞狀態和哈欠狀態；

根據所述頭部疲勞狀態、所述眼部疲勞狀態和所述哈欠狀態，確認所述工作者的疲勞狀態。

在第一方面的一種可能的實現方式中，所述根據所述人臉關鍵點進行計算，得到頭部歐拉角，并根據所述頭部歐拉角的變化確認工作者的頭部姿態，具體包括：