[發(fā)明專利]一種基于臉部特征的駕駛員路怒癥實時識別和預(yù)警方法

在審

• 申請?zhí)枺?/td>: 201610044980.4
• 申請日: 2016-01-22
• 公開（公告）號: CN105740767A
• 公開（公告）日: 2016-07-06
• 發(fā)明（設(shè)計）人: 毛啟容;劉鵬;劉峰;詹永照;陳龍
• 申請（專利權(quán)）人: 江蘇大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種實時識別和預(yù)警駕駛員路怒癥的方法，特指一種基于臉部特征的駕駛員路怒癥實時識別和預(yù)警方法。

背景技術(shù)

近年來，由于經(jīng)濟的高速發(fā)展使得人民生活水平大大提高，國民擁有私家車的數(shù)量不斷增加，于此同時交通事故的發(fā)生率也不斷上升，車輛與安全問題已經(jīng)成為社會關(guān)注的熱點。其中駕駛員路怒癥也是影響安全駕駛的重要原因。

“路怒癥”概念最早來自國外心理學。隨著中國汽車數(shù)量增多，這一心理問題也受到國內(nèi)越來越多專家的關(guān)注。“路怒”(roadrage)是形容在交通阻塞情況下，開車壓力與挫折所導致的憤怒情緒，發(fā)作者會襲擊他人的汽車，有時無辜的同車乘客也會遭殃。醫(yī)學界把“路怒癥”歸類為陣發(fā)型暴怒障礙，指多重的怒火爆發(fā)出來，猛烈程度叫人大感意外。路怒癥發(fā)作的人經(jīng)常會口出威脅、動粗甚至毀損他人財物，也就是攻擊性駕駛。研究表明，相當多的司機都有這些癥狀，但是很多司機并意識不到自己的病態(tài)。近些年，通過新聞報道也了解到很多交通事故的發(fā)生就是因為路怒癥，路怒癥現(xiàn)象越來越多，給我們的生命和財產(chǎn)造成了重大損失。

目前對駕駛員路怒癥報道的文獻很多，多數(shù)主要分析駕駛員憤怒情緒對駕駛安全的影響，而針對駕駛員憤怒情緒的實時識別和預(yù)警方法方面的研究，目前還未見報道。雖然很多學者針對日常生活中的情感信息進行分析和識別，取得了一定的突破，但是這些模型復(fù)雜，實時性很難達到，在圖像光照不好的情況下，識別精度不高，不適合駕駛員憤怒情緒的檢測和預(yù)警。

發(fā)明內(nèi)容

本發(fā)明為了克服現(xiàn)已存在的問題，通過引入Kinect這一高速3D攝像設(shè)備提取駕駛員臉部的RGB圖像信息和Depth圖像信息，并針對這些特征提出了一整套切實可行的基于臉部特征的駕駛員路怒癥識別和預(yù)警方法，大大提高了識別精度與速度。具體技術(shù)方案如下：

一種基于臉部特征的駕駛員路怒癥實時識別和預(yù)警方法，包括CNN模型訓練的步驟和表情識別的步驟；

所述CNN模型訓練的步驟包括：

S1，基于Kinect獲取駕駛員臉部RGB圖像和Depth圖像數(shù)據(jù)庫；

S2,對S1數(shù)據(jù)庫中的RGB圖像和Depth圖像分別進行預(yù)處理；

S3,利用預(yù)處理得到的RGB圖像訓練CNN模型，得到基于RGB信息的駕駛員路怒癥識別模型；利用預(yù)處理得到的Depth圖像訓練CNN模型，得到基于Depth信息的駕駛員路怒癥識別模型；

所述表情識別的步驟包括：

S4，實時采集連續(xù)N幀駕駛員臉部圖像并進行預(yù)處理操作；

S5，針對S4中采集的N幀圖像，利用S3所述的基于RGB信息的駕駛員路怒癥識別模型獲得基于RGB圖像的輸出判別信息；

S6，針對S4中采集的N幀圖像，利用S3所述的基于Depth信息的駕駛員路怒癥識別模型獲得基于Depth圖像的輸出判別信息；

S7，融合S5的輸出判別信息和S6的輸出判別信息，對兩者分配不同的權(quán)重之后求置信度，置信度最大值對應(yīng)的判別信息即為最終輸出的表情識別結(jié)果。

進一步優(yōu)選方案，S7還包括：根據(jù)表情識別結(jié)果通過語音提示對駕駛員進行預(yù)警。

進一步優(yōu)選方案，步驟S1的實現(xiàn)包括：

S1.1，制定規(guī)范，包括錄制規(guī)范以及圖像文件命名規(guī)范；

S1.2，利用基于FaceBasics-D2D編寫的錄制軟件從Kinect的實時視頻流中追蹤若干名駕駛員臉部并提取RGB圖像和Depth圖像信息，建立由若干組RGB信息和Depth信息組成的數(shù)據(jù)庫；

S1.3，對S1.2中所述數(shù)據(jù)庫中的若干組RGB信息和Depth信息進行無監(jiān)督K-means訓練分類，然后人工選取和標定憤怒表情和正常表情。

進一步優(yōu)選方案，所述若干名駕駛員為20名，所述若干組RGB信息和Depth信息為20000組。

進一步優(yōu)選方案，步驟S2中所述的預(yù)處理具體包括：圖像灰度化、圖像大小歸一化以及均值濾波。

進一步優(yōu)選方案，步驟S3中所述利用預(yù)處理得到的RGB圖像訓練CNN模型的具體實現(xiàn)包括：

將憤怒表情的數(shù)據(jù)的標簽置為1，正常表情的數(shù)據(jù)的標簽置為0，然后運用這些標簽過的RGB數(shù)據(jù)訓練CNN模型；然后CNN模型識別出給定的RGB數(shù)據(jù)是否屬于正常表情類別，如果是，輸出0，否則輸出1；

步驟S3中所述利用預(yù)處理得到的Depth圖像訓練CNN模型的具體實現(xiàn)包括：