[發明專利]基于微表情的駕駛員疲勞駕駛狀態檢測方法

有效

• 申請號: 201810022165.7
• 申請日: 2018-01-10
• 公開（公告）號: CN108053615B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 楊立才;王悅;邊軍
• 申請（專利權）人: 山東大學
• 主分類號: G08B21/06
• 分類號: G08B21/06;G06K9/00;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于微表情的駕駛員疲勞駕駛狀態檢測方法，其特征是，包括：

在駕駛員進入深度疲勞狀態之前，利用微表情與圖像處理，通過識別駕駛員在淺度疲勞狀態下出現的微表情，預警駕駛員的疲勞狀態或是否有駕駛疲勞的傾向；

步驟(1)：首先進行駕駛員面部表情圖像的采集：使用安裝在汽車后視鏡上的高速紅外攝像頭采集駕駛員駕駛過程中的面部表情視頻，從而得到駕駛員的面部表情圖像；

步驟(2)：圖像預處理，采用線性變換將面部表情圖像轉換為灰度圖像，并進行灰度圖像的直方圖均衡化；

線性變換，其定義為：

其功能是將函數灰度值f(x,y)的范圍從[m,M]變為[n,N]；

對數變換的表達式為：

g(x,y)＝clog[f(x,y)+1]

其中c為變換系數；

直方圖均衡化的具體實現算法如下，

設L為圖像灰度級的數目，計算原始圖像的灰度級r_k，k＝0,1,2,...,L－1；計算原始圖像每個灰度級的像素個數n_k，圖像中總的像素數目為N；統計圖像中各灰度級出現的頻率P_r(r_k)＝n_k/N；計算原始圖像的累計直方圖s_k；計算新的量化等級t_k；確定圖像直方圖變化前后的映射關系s_k→t_k；統計圖像映射后各灰度級像素的個數n_k；計算圖像映射后灰度分布P_t(t_k)＝n_k/N；用計算得出的映射關系修改原始圖像的灰度級，就能得到直方圖近似均勻分布；

步驟(3)：定位人臉區域，并對人的眼部區域、嘴巴區域和眉毛區域定位，進行人臉區域圖像的分割提取，對分割提取的圖像進行尺寸上的均一化；

使用Adaboost-Haar算法定位人眼區域，確定人眼質心的位置，兩眼質心連線的中點記為O，兩眼質心之間的距離記為d，以O為基準，水平方向左右分別取d、垂直向下取1.5d、向上取0.55d，對矩形區域進行裁剪；

使用Adaboost-Haar算法定位人眼，Adaboost-Haar算法為：

假設輸入數據集D＝{(x₁,y₁),(x₂,y₂),...,(x_i,y_i)}，其中x_i為樣本數據、y_i為樣本屬性；設初始化樣本權重為ω_i，負樣本的數量為m、正樣本的數量為l；當y_i＝0時樣本為負，ω_i＝1/m；當y_i＝1時樣本為正，ω_i＝1/l；

學習的循環次數設為T，當t＝1,2,...,T時，分別進行學習；

步驟(31)：權重歸一化：

步驟(32)：對每個特征j，訓練一個弱分類器h_j，計算所有特征的加權錯誤率ε_f：

ε_f＝∑_iω_i|h_j(x_i)-y_i|

步驟(33)：從步驟(32)確定的弱分類器中找出一個具有最小ε_t的弱分類器h_t，更新每個樣本對應的權重：

如果樣本x_i被正確分類，則e_i＝0，否則e_i＝1，而最終形成強分類器為：

其中，

根據正、負樣本構造特征集，如果弱分類器對樣本分類正確，則樣本的權重減小；如果弱分類器對樣本分類錯誤，則樣本的權重增加；分類器加強對錯分樣本的訓練，最后將所有弱分類器形成強分類器；

步驟(4)：提取駕駛員眼睛區域的紋理特征、嘴巴區域的紋理特征和眉毛區域的紋理特征；對眼睛區域的紋理特征、嘴巴區域的紋理特征和眉毛區域的紋理特征進行特征融合作為面部紋理特征；使用基于灰度共生矩陣的紋理特征提取方法，提取紋理特征；

在圖像中取任意一點(x,y)及偏離它的另一點(x+a,y+b)，兩點構成點對，設該點對的灰度值為(g₁,g₂)，圖像的最大灰度級數記為k，則(g₁,g₂)的組合共有k²種；

統計出每一種(g₁,g₂)出現的次數，組成一個矩陣，再用(g₁,g₂)出現的總次數將其歸一化為出現的概率ρ(g₁,g₂)，并構成新的矩陣，新矩陣即為灰度共生矩陣；

距離差分值(a,b)取不同的數值組合，得到不同情況下的聯合概率矩陣：

當a＝1、b＝0時，像素對是水平的，即0°掃描；

當a＝0、b＝1時，像素對是垂直的，即90°掃描；

當a＝1、b＝1時，像素對是右對角線的，即45°掃描；

當a＝﹣1、b＝﹣1時，像素對是左對角線，即135°掃描；

通過點對在不同距離差分值下出現的概率，將(x,y)的空間坐標轉化為由ρ(g₁,g₂)構成的新矩陣，形成灰度共生矩陣；

對灰度共生矩陣進行歸一化：

紋理特征提取，是利用圖像的灰度共生矩陣，求取統計特征值：

紋理能量：

紋理慣性：

紋理相關性：

紋理熵：

其中，

建立四個方向上的灰度共生矩陣，對每個方向上的共生矩陣提取Q₁、Q₂、Q₃、Q₄的特征值，每種紋理包含16個特征向量；

步驟(5)：根據面部紋理微表情庫中的疲勞狀態微表情的面部紋理特征，使用最小距離分類法對駕駛員當前的面部紋理特征進行分類，以此識別駕駛員的微表情，依此判斷是否進入淺度疲勞狀態，若已進入淺度疲勞狀態，繼續判斷駕駛員的微表情在設定時間范圍內被檢測為淺度疲勞狀態的次數是否超過設定閾值，若超過設定閾值，則表示駕駛員具有進入深度疲勞狀態的趨勢，同時對駕駛員具有進入深度疲勞狀態的趨勢進行預警；

通過設計疲勞激發實驗采集正常狀態和疲勞狀態下的人臉圖像，識別對應微表情下人臉紋理，建立相對應的人臉紋理特征微表情庫；通過最小距離判別函數，計算獲得當前人臉紋理特征與微表情庫中微表情的人臉紋理特征之間的向量距離，以此判斷駕駛員的微表情；

如果當前面部紋理特征與面部紋理微表情庫中任一疲勞狀態微表情面部紋理特征的距離均大于設定閾值，則表示駕駛員未進入淺度疲勞狀態；否則，表示駕駛員進入淺度疲勞狀態，預警提示；

所述步驟(5)還包括建立面部紋理特征微表情庫，是指：通過疲勞實驗采集正常狀態和疲勞狀態下的人臉圖像，對人臉區域圖像進行分割，并識別出眼睛區域、眉毛區域和嘴巴區域，分別識別人臉圖像的眼睛區域紋理特征、眉毛區域紋理特征和嘴巴區域的紋理特征，對眼睛區域紋理特征、眉毛區域紋理特征和嘴巴區域的紋理特征進行融合得到面部紋理特征，記錄正常狀態和疲勞狀態微表情的面部紋理特征，構建面部紋理特征微表情庫；

在駕駛員處于淺度駕駛疲勞狀態時，其微表情會出現眼睛張合度減小、眼瞼下垂、瞳孔放大、兩外側眉角下垂、嘴角下垂且略有向內收縮特征，獲得的面部圖像上也會因此出現相對應的紋理特征；通過設計疲勞激發實驗采集正常狀態和疲勞狀態下的人臉圖像，識別對應微表情下人臉紋理，建立相對應的人臉紋理特征微表情庫；通過最小距離判別函數，計算獲得當前人臉紋理特征與微表情庫中微表情的人臉紋理特征之間的向量距離，以此判斷駕駛員的微表情；如果駕駛員的微表情在設定時間范圍內被檢測為淺度疲勞的次數超過設定閾值，則對駕駛員進入深度疲勞狀態的趨勢進行預警。