[發(fā)明專利]一種基于心率和面部特征的非侵入式疲勞駕駛識別方法

有效

• 申請?zhí)枺?/td>: 201811076992.0
• 申請日: 2018-09-14
• 公開（公告）號: CN109460703B
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 杜廣龍;龍帥英;李方;張平
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/18;G06V10/764;G06V10/80;A61B5/18;A61B5/024
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍

本發(fā)明提出了一種基于心率和面部特征的非侵入式疲勞駕駛識別方法。該方法通過體感攝像機(jī)Kinect獲取面部視頻，根據(jù)面部視頻使用獨(dú)立量分析，分離出R、G、B和紅外四個(gè)通道；使用傅里葉變換計(jì)算出心率；使用體感攝像機(jī)Kinect人臉追蹤開發(fā)工具包獲取視頻中面部區(qū)域圖像及眼睛和嘴部區(qū)域的特征點(diǎn)；計(jì)算眼睛張開度，用于統(tǒng)計(jì)眨眼持續(xù)時(shí)間PERCLOS；利用支持向量機(jī)對嘴部區(qū)域圖像分成打哈欠和未打哈欠兩類，統(tǒng)計(jì)打哈欠頻率；將獲得的心率統(tǒng)計(jì)特征、PERCLOS統(tǒng)計(jì)和打哈欠頻率特征融合后進(jìn)行疲勞識別。本發(fā)明結(jié)合心率和打哈欠是駕駛員下意識的特征，提高疲勞駕駛檢測的可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種疲勞駕駛檢測技術(shù)，具體涉及一種基于心率和面部特征的非侵入式疲勞駕駛識別方法。

背景技術(shù)

當(dāng)駕駛員處于疲勞駕駛狀態(tài)時(shí)，其注意力會變得分散，識別路況和駕駛能力明顯下降，因此無論是對他們自己還是他人的生命安全均構(gòu)成了威脅。因此開發(fā)能及時(shí)檢測駕駛員是否疲勞駕駛并做出預(yù)警的系統(tǒng)，對于較少交通事故意義重大。

目前有不少疲勞駕駛檢測的方法，但仍然有很多問題有待解決或值得進(jìn)一步研究。其一，基于車輛行為的方法。基于車輛行為的方法主要是通過測量轉(zhuǎn)向角、速度、加速度、轉(zhuǎn)彎角度等車輛數(shù)據(jù)，雖然收集車輛信號很方便，但是此時(shí)駕駛員已經(jīng)明顯表現(xiàn)出疲勞，因此這種方法無法有效的及時(shí)的檢測到駕駛員是否疲勞并做出預(yù)警。其二，基于生理信號的方法。基于生理信號的方法研究主要是研究腦電圖(EEG)，眼電圖(EOG)和心電圖(ECG)和心率等生理信號，雖然提到的這些方法可以獲得很高準(zhǔn)確率，但是這些方法都需要駕駛員佩戴相關(guān)檢測設(shè)備，有很強(qiáng)的侵入性，會妨礙駕駛員駕駛。同時(shí)在進(jìn)行檢測疲勞駕駛前需要駕駛員佩戴相關(guān)設(shè)備，用戶體驗(yàn)不友好。

當(dāng)司機(jī)疲勞時(shí)會出現(xiàn)頻繁閉眼、點(diǎn)頭和打哈欠等行為。基于行為的方法就是通過視覺分析駕駛員例如閉眼，眨眼，打哈欠，頭部姿勢、眼瞼運(yùn)動和面部表情等面部特征來檢測是否疲勞。由于基于視覺的行為的方法不會干擾司機(jī)駕駛，更容易被駕駛員所接受。基于檢測眼睛閉合頻率來計(jì)算PERCLOS(Percentage of Eye Closure)值來判斷是否疲勞，有些除了分析眼部區(qū)域的特征外還結(jié)合頭部運(yùn)動來進(jìn)行檢測。但是當(dāng)司機(jī)帶墨鏡時(shí)候，通過眼部區(qū)域特征來判斷是否疲勞這種方法將會失效。

更好的解決方案是對面部圖像分析出心率。面部的血液會隨著心臟的收縮和放松而變化，血液的變化意味著面部熱量和顏色會發(fā)生微小的變化，因此Kinect獲取的紅外圖像和RGB圖像將著時(shí)間產(chǎn)生微小的變化，而這個(gè)變化的頻率就是我們需要求的心率。當(dāng)司機(jī)疲勞時(shí)會出現(xiàn)頻繁閉眼、點(diǎn)頭和打哈欠等行為。基于視覺的行為的方法不會干擾司機(jī)駕駛，更容易被駕駛員所接受。基于檢測眼睛閉合頻率來計(jì)算PERCLOS(Percentage of EyeClosure)值來判斷是否疲勞，有些除了分析眼部區(qū)域的特征外還結(jié)合頭部運(yùn)動來進(jìn)行檢測。但是當(dāng)司機(jī)帶墨鏡時(shí)候，通過眼部區(qū)域特征來判斷是否疲勞這種方法將會失效。通過Kinect的紅外圖像，既可以大大降低光照變化所帶來的影響也能很好的解決帶墨鏡時(shí)的情況。人下意識很容易控制眼睛閉合頻率，僅僅通過眼部特征來判斷是否疲勞這種方法不可靠。但是打哈欠和心率是很難下意識的控制的，因此我們應(yīng)當(dāng)融合心率、眼部特征和嘴部特征來提高疲勞駕駛檢測的穩(wěn)定性與準(zhǔn)確性。

發(fā)明內(nèi)容

為了解決上述現(xiàn)有技術(shù)所存在的問題，本發(fā)明提供一種基于心率和面部特征的非侵入式疲勞駕駛識別方法，通過Kinect獲取RGB圖像和紅外(IR)圖像，然后根據(jù)這些圖像數(shù)據(jù)計(jì)算心率并獲取面部特征，最終將心率和面部特征融合，使用隨機(jī)森林算法分類出疲勞和未疲勞兩種狀態(tài)。

本發(fā)明的目的通過如下技術(shù)方案實(shí)現(xiàn)。

一種基于心率和面部特征的非侵入式疲勞駕駛識別方法，該方法包括以下步驟：

S1、通過體感攝像機(jī)Kinect獲取面部視頻，根據(jù)面部視頻使用獨(dú)立量分析(Independent Component Analysis)分離出R、G、B和紅外四個(gè)通道；使用傅里葉變換計(jì)算出心率；