[發明專利]一種疲勞表情識別方法

在審

• 申請號: 201910292759.4
• 申請日: 2019-04-12
• 公開（公告）號: CN110135254A
• 公開（公告）日: 2019-08-16
• 發明（設計）人: 胡斌杰;祁亞茹
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于局部二進制模式與重構的方向梯度直方圖融合的疲勞表情識別方法，該方法是在Adaboost算法檢測面部以及卡爾曼濾波追蹤定位面部的基礎上進行的有效疲勞表情識別。首先，使用重構的方向梯度直方圖算子進行結構信息和邊緣信息提取；然后，利用局部二進制模式，即原始模式、等價模式、旋轉不變模式、旋轉不變等價模式這四種模式之一進行面部紋理信息提取。隨后，將提取得到的特征融合，以構成具有紋理信息、結構信息以及邊緣信息的新特征。最后，在自建的疲勞表情數據庫下利用支持向量機技術對所得的特征值進行疲勞與非疲勞表情的分類訓練。結果表明：該方法計算復雜度低，識別率高，能夠很好地識別疲勞狀態。

技術領域

本發明涉及智能駕駛員駕駛姿態識別技術領域，具體涉及一種基于局部二進制模式與重構的方向梯度直方圖融合的疲勞表情識別方法。

背景技術

駕駛員疲勞識別的研究可分為三類：1)基于車輛的方法；2)基于行為的方法；3)基于生理信號的方法。在生理學方法中，駕駛員疲勞是通過使用身體的生理信號來檢測的，例如腦電圖(EEG)用于監測大腦活動，眼電圖(EOG)用于監測眼球運動，心電圖(ECG)用于監測心率。最近的研究表明，與其他方法相比，利用生理信號(尤其是EEG信號)進行疲勞檢測更加可靠和準確。然而，生理信號的侵入性測量會阻礙駕駛，特別是在長期駕駛期間。基于車輛的方法從車輛傳感器收集信號數據(例如，方向盤角度、車道位置、速度、加速度和制動)以評估駕駛行為。雖然采集車輛信號比較方便，但是這些方法對于檢測駕駛員疲勞并不實時。基于行為的方法使用車載照相機捕捉駕駛員的臉，并依靠視覺分析來監視駕駛員的行為，包括閉眼、眨眼、打哈欠、頭部姿勢、手勢、面部表情等。

面部表情識別是最常見的基于視覺的行為分析系統之一。它與人們的心理狀態密切相關，如憤怒、悲傷、疲勞等。人臉表情識別能有效、準確地檢測駕駛員疲勞。現有的人臉表情識別方法主要是基于外觀的算法。

基于外觀的方法考慮面部外觀變化，例如皺紋。目前最流行的方法包括：局部二進制模式(Local Binary Patterns，LBP)，方向梯度直方圖(Histogram of OrientedGradients，HOG)，時空定向能量直方圖(Histogram of Spatiotemporal OrientationEnergy，HOE)和Gabor Wavelets等特征提取方法。其中，LBP最初由T.Ojala，M.和D.Harwood于1994年提出用于紋理特征提取，它可以用來描述圖像的局部紋理特征，具有旋轉不變性和灰度不變性的優點，但LBP(局部二值模式)描述符提取的紋理特征是有限的，不能有效地描述圖像的邊緣和方向信息；HOG是用于計算機視覺和圖像處理中的對象檢測的特征描述符，它通過計算和計算圖像局部區域的梯度方向直方圖來構造特征，可以很好地提取圖像結構信息和邊緣信息，但HOG對于噪點敏感，不具有旋轉不變性，特征維數高，數據冗余，圖像大小固定等。

發明內容

本發明的目的是針對現有疲勞表情識別方法在疲勞表達識別中的兩個技術問題：(1)由LBP描述符提取的紋理特征是有限的，不能有效地描述圖像的邊緣和方向信息；(2)HOG描述符提取的結構特征不具有旋轉不變性，而且特征維數高計算復雜度相對較高，提出了一種基于局部二進制模式與重構方向梯度直方圖融合的疲勞表情識別方法。該方法不僅融合了圖像的紋理信息，結構信息和邊緣信息，而且通過重構HOG算子，在不丟失圖像信息的情況下，降低特征維數，降低計算復雜度。此外，本方法中用于訓練的圖像的大小可以不固定。

本發明的目的可以通過采取如下技術方案達到：

一種基于局部二進制模式與重構的方向梯度直方圖融合的疲勞表情識別方法，所述的疲勞表情識別方法包括以下步驟：

S1、預處理人臉面部圖片，其中，預處理包括濾波與灰度化；