[發明專利]一種基于心率和面部特征的非侵入式疲勞駕駛識別方法

有效

• 申請號: 201811076992.0
• 申請日: 2018-09-14
• 公開（公告）號: CN109460703B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 杜廣龍;龍帥英;李方;張平
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/18;G06V10/764;G06V10/80;A61B5/18;A61B5/024
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

1.一種基于心率和面部特征的非侵入式疲勞駕駛識別方法，其特征在于，該方法包括以下步驟：

S1、通過體感攝像機Kinect獲取面部視頻，根據面部視頻使用獨立量分析分離出R、G、B和紅外四個通道；使用傅里葉變換計算出心率；

S2、使用體感攝像機Kinect人臉追蹤開發工具包獲取視頻中面部區域圖像及眼睛和嘴部區域的特征點；

S3、計算眼睛張開度，用于統計眨眼持續時間PERCLOS；利用支持向量機對嘴部區域圖像分成打哈欠和未打哈欠兩類，統計打哈欠頻率；

S4 、將獲得的心率統計特征、PERCLOS統計和打哈欠頻率特征融合后進行疲勞識別，所述的特征融合后進行疲勞識別包括：

先將心率統計特征、PERCLOS和打哈欠頻率這三種特征歸一化，然后將這些歸一化后的特征作為隨機森林算法的輸入，該算法輸出結果為駕駛員精神狀態，共有疲勞和未疲勞兩種狀態；

所述隨機森林算法是一種特殊的集成學習方法，由多個決策樹組成，選取分類回歸樹(Classification And Regression Tree)作為隨機森林算法的分類決策樹，具體是：使用訓練集訓練隨機森林，所述歸一化后的特征加上當前特征對應駕駛員疲勞狀態即：{心率特征，PERCLOS，打哈欠頻率，疲勞/未疲勞}，為訓練集D的一個元素；模型構建過程中當前步驟所選擇特征和劃分子集的方法是，遍歷目前還未選中的特征以及該特征所有劃分情況， 然后計算劃分后集合的基尼系數，最終選擇讓原來的集合的基尼系數Gini最小時所對應的特征以及劃分方法；基尼系數越大總體內包含的類別越雜亂；集合D_ξ的基尼系數Gini(D_ξ)計算公式入下式所示，

其中，n是分類的個數，這里只有疲勞和不疲勞兩種，所以n的值為2，p_k表示樣本p＝(x_i，y_i)屬于分類k的概率；

訓練隨機森林模型需要四步：

step1：從原始訓練集D₀中隨機有放回采樣選出x個樣本，樣本是之前提到的，共進行y次采樣，生成y個訓練集，訓練集個數就是隨機森林所含有決策樹的個數；然后將每個訓練集劃分為大小相同的K份；選擇其中的K-1份來訓練y個決策樹模型，將用余下的那一份計算模型的預測值，這一份通常被稱為交叉驗證集；

step2：依次遍歷每個特征A_j的可能取值A_j，η，對每一個劃分點(A_j，A_j，η)計算并保存按照該劃分點劃分后所得集合的基尼系數Gini(D_ξ，A_j，η)，這些數據將會在step3使用；原先集合根據劃分點(A_j，A_j，η)劃分后的集合基尼系數計算公式如下所示：

其中D_ξ+1與D_ξ+2是原來的集合D_ξ根據劃分點(A_j，A_j，η)劃分所得到的兩個互斥的子集；

step3：從step2所產生的所有劃分情況中選取劃分后集合基尼系數最小的情況作為最終決策樹本次劃分結果，此時原先集合被劃分成兩個互斥的子集；

step4：對上步切出的兩個子集分別遞歸調用step1和step2，每棵樹都一直這樣分裂下去，直到子集合的樣本個數小于預定閥值，或者訓練集的基尼系數小于預定閥值或沒有更多特征可以用來劃分子集時停止劃分；最后將生成的多棵決策樹組成隨機森林。

2.根據權利要求1所述的一種基于心率和面部特征的非侵入式疲勞駕駛識別方法，其特征在于，步驟S1中所述使用體感攝像機Kinect獲取彩色圖像和紅外圖像數據。

3.根據權利要求1所述的一種基于心率和面部特征的非侵入式疲勞駕駛識別方法，其特征在于，在步驟S1中，從Kinect中獲取面部區域的RGB圖像和紅外圖像，對此區域進行追蹤；其次，從R、G、B和IR四個通道記錄采集到的信號進行歸一化；所述的使用傅里葉變換計算出心率，首先用基于特征矩陣聯合近似對角化算法，對信號進行獨立分量分析，然后對得到的分離矩陣進行傅里葉變換，從而與心率范圍匹配，得到被測者實時心率；再從每段心率提取五個統計特征：平均值、均方根、最大值、最小值和幅度。