[發明專利]基于面部和呼吸特征的路怒監測方法、系統、設備及介質

有效

• 申請號: 201910228205.8
• 申請日: 2019-03-25
• 公開（公告）號: CN109993093B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 楊立才;張成昱
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/20;G06V10/50;G06V10/80
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于面部和呼吸特征的路怒監測方法、系統、設備及介質，采集駕駛員的面部圖像與呼吸信息，對面部圖像與呼吸信息分別進行預處理并提取能夠反映駕駛員路怒情緒的特征；對提取到的兩種類型的特征進行特征融合，然后基于機器學習方法，建立駕駛員路怒情緒識別模型；該模型能夠判斷駕駛員是否處于路怒狀態，并能夠根據結果調節駕駛員的路怒情緒。本發明由于使用的是易于采集的圖像和呼吸信息，能夠在不影響駕駛員正常駕駛的情況下檢測出駕駛員的情緒狀態，并當在駕駛員處于路怒情緒時，能夠通過音頻設備對其提醒，警示，調節情緒。

技術領域

本公開涉及基于面部圖像和呼吸信息的特征的路怒監測方法、系統、設備及介質。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

在實現本公開的過程中，發明人發現現有技術中存在以下技術問題：

“路怒癥”指汽車或其他機動車的駕駛人員在駕駛過程中具有攻擊性或憤怒的行為，如粗鄙的手勢、言語侮辱、故意用不安全或威脅安全的方式駕駛車輛等。研究表明，路怒情緒會影響駕駛員的正常駕駛。激進駕駛，冒險駕駛和錯誤駕駛等表現都與“路怒癥”呈正相關的關系。現如今，路怒駕駛已經成為了交通事故產生的重要原因，因此有必要對駕駛員的路怒情緒進行識別并進行安全警示，情緒調節。

駕駛員路怒情緒識別方法多采用的是面部圖像與生理信號融合的方法來判斷駕駛員情緒。現在最常用的生理信號的是腦電信號和脈搏信號，它們能夠用于識別路怒情緒，但是囿于當今的傳感器技術，腦電信號和脈搏信號的信號采集裝置或多或少都會影響駕駛員的正常駕駛行為。為獲取腦電信號，需要在駕駛員在頭部佩戴腦電帽；為獲取脈搏信號，需要在駕駛員腕部或手指等部分佩戴傳感器。這些信號獲取裝置增加了駕駛員的負擔，可能會使駕駛員產生不舒適感，影響了駕駛員的正常駕駛行為。

發明內容

為了解決現有技術的不足，本公開提供了基于面部和呼吸特征的路怒監測方法、系統、設備及介質，旨在不影響駕駛員正常駕駛的前提下，識別駕駛員的路怒情緒并發出警示，調節駕駛員情緒。

第一方面，本公開提供了基于面部和呼吸特征的路怒監測方法；

基于面部和呼吸特征的路怒監測方法，包括：

獲取駕駛員的面部視頻和呼吸數據；

從面部視頻中提取面部區域圖像，從獲取的面部區域圖像中提取面部特征；

從獲取的呼吸數據中提取呼吸特征；

對采集的面部特征和呼吸特征進行特征融合；

將融合后的特征輸入到訓練好的深度學習模型中，輸出路怒的監測狀態。

第二方面，本公開提供了基于面部和呼吸特征的路怒監測系統；

基于面部和呼吸特征的路怒監測系統，包括：

獲取模塊，用于獲取駕駛員的面部視頻和呼吸數據；

面部特征提取模塊，用于從面部視頻中提取面部區域圖像，從獲取的面部區域圖像中提取面部特征；

呼吸特征提取模塊，用于從獲取的呼吸數據中提取呼吸特征；

特征融合模塊，用于對采集的面部特征和呼吸特征進行特征融合；

路怒狀態監測模塊，用于將融合后的特征輸入到訓練好的深度學習模型中，輸出路怒的監測狀態。

第三方面，本公開還提供了一種電子設備，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成第一方面中的方法。

第四方面，本公開還提供了一種計算機可讀存儲介質，用于存儲計算機指令，所述計算機指令被處理器執行時，完成第一方面中方法的步驟。