[發明專利]一種基于骨架數據行為識別的司機疲勞檢測方法

有效

• 申請號: 202010944605.1
• 申請日: 2020-09-10
• 公開（公告）號: CN112131981B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 周斌;張藝;周洪超
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

本發明涉及一種基于骨架數據行為識別的司機疲勞檢測方法，包括：(1)采集駕駛室中不同時間、不同對象的多段監控視頻；(2)提取司機頭部每一幀的骨架關鍵點數據；(3)對采集到的骨架關鍵點數據進行篩選，制作標簽，構建數據集；(4)基于步驟(3)的數據集訓練設計好的基于注意力機制的卷積神經網絡模型；通過訓練好的基于注意力機制的卷積神經網絡模型進行司機疲勞檢測，根據疲勞檢測算法判斷司機是否處于疲勞狀態。本發明利用監控視頻進行監測，減少了設備儀器的成本，避免對司機造成的困擾；將視頻數據轉化為骨架序列數據再進行檢測，模型的魯棒性較好，提高了疲勞檢測的準確率和檢測速度。

技術領域

本發明涉及一種基于骨架數據行為識別的司機疲勞檢測方法，屬于計算機視覺技術領域。

背景技術

司機在車輛行駛過程中需要負責控速、停車，觀察道路情況并及時做出反應等工作，然而在長時間的持續工作中，司機容易出現疲勞、困倦甚至瞌睡等情況，這對道路交通安全會造成潛在的危害。因此，如何對司機的疲勞狀態進行實時檢測與預警具有十分重要的研究意義。

目前主要的檢測方法大致有兩種，一種方法是對司機進行人臉識別，根據司機的眼睛閉合頻率、凝視方向、打哈欠頻率等特征進行檢測，這種方法準確率較高，但是采集的數據必須有司機清晰的面部，這對監測設備的清晰度、質量的要求很高，所需成本比較昂貴；同時，車輛的原有監控數據一般無法進行人臉關鍵點識別，因此無法利用現有的資源進行檢測。另外一種方法是通過醫用測量儀器獲取司機的腦電圖、心電圖、脈率圖等數據進行疲勞程度分析，然而這種方法所需的檢測儀器通常比較復雜，必須接觸司機的身體部位，很大程度上會給司機的行動帶來不便。

近年來，基于深度學習的行為識別技術發展迅速，將深度學習的行為識別技術應用到對司機的疲勞狀態進行實時檢測與預警將是一個新的研究課題。

發明內容

針對現有技術的不足，本發明旨在解決現有司機疲勞檢測方法存在的所需設備復雜、成本高、操作繁瑣等問題，提供一種基于骨架數據行為識別的司機疲勞檢測方法，將視頻數據轉化為骨架序列數據，根據行為識別結果判斷司機的疲勞狀態。

本發明認為司機疲勞狀態可以通過其行為表現出來。為了解決目前疲勞檢測方法存在的問題，本發明通過識別司機的行為來判斷其疲勞狀態。然而基于彩色視頻的行為識別容易受到光照變化、背景復雜等諸多因素的影響，模型規模普遍較大。與彩色視頻相比，骨架序列可以有效地代表人類的動作，同時對背景噪聲具有一定的魯棒性，數據集尺寸較小，可以設計出輕量級的模型。

術語解釋：

1、骨架數據，是指從人體中提取出一些關鍵點構成人體骨架，骨架序列記錄了每個關鍵點的三維或者二維坐標的運動軌跡。

2、OpenPose，是指基于卷積神經網絡和監督學習并以Caffe為框架開發的開源庫，可以實現人體動作、面部表情、手指運動等姿態估計。

3、注意力機制，深度學習中的注意力機制，核心目標是從眾多信息中選擇出對當前任務目標更關鍵的信息，廣泛應用于自然語言處理、語音識別、圖像識別等各種深度學習任務中。

4、LSTM(Long Short Term Memory)，是指長短期記憶人工神經網絡，是為了解決一般的循環神經網絡(RNN)存在的長期依賴問題而專門設計出來的，主要特點是設計了記憶門、遺忘門和輸出門的結構，可以學習長期依賴信息。

5、卷積神經網絡(CNN)，是一類包含卷積計算、具有深層結構的前饋神經網絡，具有權值共享的網絡結構，降低了模型復雜度，減少了權值的數量。CNN可以直接將圖像作為輸入，具有平移不變性，在圖像識別領域取得了不錯的效果。

本發明的技術方案為：

一種基于骨架數據行為識別的司機疲勞檢測方法，包括步驟如下：

A、訓練基于注意力機制的卷積神經網絡模型