[發明專利]駕駛員情緒檢測方法、裝置、電子設備及存儲介質

在審

• 申請號: 201810557477.8
• 申請日: 2018-06-01
• 公開（公告）號: CN110555346A
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 朱麗
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L25/63
• 代理公司: 11413 北京柏杉松知識產權代理事務所(普通合伙)
• 代理人: 項京;馬敬

1.一種駕駛員情緒檢測方法，其特征在于，所述方法包括：

獲取駕駛員的視頻數據及音頻數據；

將所述視頻數據輸入到第一神經網絡，由所述第一神經網絡對所述視頻數據進行檢測分析，得到視頻分析結果；

將所述音頻數據輸入到第二神經網絡，由所述第二神經網絡對所述音頻數據進行檢測分析，得到音頻分析結果；

對所述視頻分析結果和所述音頻分析結果進行綜合分析，確定所述駕駛員當前的情緒狀態。

2.根據權利要求1所述的方法，其特征在于，所述獲取駕駛員的視頻數據及音頻數據，包括：

獲取所述駕駛員的視頻圖像，并采用滑動窗口機制提取所述視頻圖像的視頻幀序列，作為所述視頻數據；

獲取所述駕駛員的語音信息，提取預設時長的語音信息，作為所述音頻數據。

3.根據權利要求1所述的方法，其特征在于，所述第一神經網絡包括第一卷積神經網絡及第一循環神經網絡，所述將所述視頻數據輸入到第一神經網絡，由所述第一神經網絡對所述視頻數據進行檢測分析，得到視頻分析結果，包括：

采用預先訓練的所述第一卷積神經網絡提取所述視頻數據中各視頻幀的第一特征向量；

采用預先訓練的所述第一循環神經網絡，對各視頻幀的第一特征向量進行時間及空間維度上的關聯，得到特征序列，并基于對所述特征序列的解析，確定視頻分析結果。

4.根據權利要求1所述的方法，其特征在于，所述第二神經網絡包括第二卷積神經網絡，所述將所述音頻數據輸入到第二神經網絡，由所述第二神經網絡對所述音頻數據進行檢測分析，得到音頻分析結果，包括：

采用預先訓練的所述第二卷積神經網絡提取所述音頻數據的音頻特征，確定所述音頻特征所在的分類，并將所述音頻特征所在的分類對應的情緒狀態，作為音頻分析結果。

5.根據權利要求1所述的方法，其特征在于，所述視頻分析結果包括視頻路怒指數X，所述音頻分析結果包括音頻路怒指數Y；

所述對所述視頻分析結果和所述音頻分析結果進行綜合分析，確定所述駕駛員當前的情緒狀態，包括：

根據公式Z＝aX+bY計算所述駕駛員的綜合路怒指數，其中，Z為所述綜合路怒指數，a及b為預設系數；

確定所述綜合路怒指數對應的情緒狀態，作為所述駕駛員當前的情緒狀態。

6.根據權利要求1所述的方法，其特征在于，在所述對所述視頻分析結果和所述音頻分析結果進行綜合分析，確定所述駕駛員當前的情緒狀態之后，所述方法還包括：

若所述駕駛員當前的情緒狀態為憤怒狀態，播放預設的減壓音樂并降低駕駛室內的溫度；或

若所述駕駛員當前的情緒狀態為失控狀態，啟動自動駕駛。

7.一種駕駛員情緒檢測裝置，其特征在于，所述裝置包括：

數據獲取模塊，用于獲取駕駛員的視頻數據及音頻數據；

視頻分析模塊，用于將所述視頻數據輸入到第一神經網絡，由所述第一神經網絡對所述視頻數據進行檢測分析，得到視頻分析結果；

音頻分析模塊，用于將所述音頻數據輸入到第二神經網絡，由所述第二神經網絡對所述音頻數據進行檢測分析，得到音頻分析結果；

綜合分析模塊，用于對所述視頻分析結果和所述音頻分析結果進行綜合分析，確定所述駕駛員當前的情緒狀態。

8.根據權利要求7所述的裝置，其特征在于，所述數據獲取模塊，包括：

視頻數據獲取子模塊，用于獲取所述駕駛員的視頻圖像，并采用滑動窗口機制提取所述視頻圖像的視頻幀序列，作為所述視頻數據；

音頻數據獲取子模塊，用于獲取所述駕駛員的語音信息，提取預設時長的語音信息，作為所述音頻數據。