[發明專利]基于情緒識別的駕駛員上崗駕駛檢測方法及裝置

在審

• 申請號: 202010583278.1
• 申請日: 2020-06-23
• 公開（公告）號: CN111723752A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 魏新勝
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G10L25/63;G06F16/36;G06F16/33;G06F16/27;A61B5/16
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李翔宇

1.一種基于情緒識別的駕駛員上崗駕駛檢測方法，其特征在于，包括：

接收用戶端上傳的體檢數據；其中，所述體檢數據包括司機血液酒精含量值、司機血壓值；

將本地生成的目標題目語音數據集發送至用戶端；

接收用戶端發送的與所述目標題目語音數據集中每一條目標題目語音數據分別對應的用戶視頻和用戶音頻，以組成用戶視頻集和用戶音頻集；

通過對所述用戶音頻集中各用戶音頻進行語音識別，得到與所述用戶音頻集對應的當前答案數據集；

將所述當前答案數據集與所述題目-答案數據集中對應的答案數據集進行比對，得到用戶檢測分值；

在用戶視頻集的各用戶視頻對應的視頻圖像序列中提取包含微表情的圖像幀，通過對各用戶視頻中包含微表情的圖像幀進行微表情識別，得到與各用戶視頻對應的微表情識別結果，以組成微表情識別結果集；

通過對用戶音頻集中各用戶音頻進行語音情感識別，得到對應的語音情感識別結果集；以及

將所述體檢數據、用戶檢測分值、微表情識別結果集、及語音情感識別結果集填充至預先存儲的司機上崗識別報告模板中，得到當前司機上崗識別報告。

2.根據權利要求1所述的基于情緒識別的駕駛員上崗駕駛檢測方法，其特征在于，所述將本地生成的目標題目語音數據集發送至用戶端，包括：

獲取本地已存儲的題庫；

隨機從所述題庫中抽取滿足預設的第一數量的題目-答案數據集，將所述題目-答案數據集中對應的題目數據集轉化為對應的目標題目語音數據集，以發送至用戶端。

3.根據權利要求1所述的基于情緒識別的駕駛員上崗駕駛檢測方法，其特征在于，所述將本地生成的目標題目語音數據集發送至用戶端，包括：

獲取由多個知識圖譜組成的題庫；

隨機從所述題庫中抽取滿足預設的第一數量的三元組，以組成答案三元組集；

將答案三元組集中每一三元組中任意一個信息進行信息刪除，得到與答案三元組集對應的題目三元組集；

將題目三元組集中每一題目三元組對應的文本轉化為題目語音數據，以組成目標題目語音數據集并發送至用戶端。

4.根據權利要求1所述的基于情緒識別的駕駛員上崗駕駛檢測方法，其特征在于，所述在用戶視頻集的各用戶視頻對應的視頻圖像序列中提取包含微表情的圖像幀，通過對各用戶視頻中包含微表情的圖像幀進行微表情識別，得到與各用戶視頻對應的微表情識別結果，以組成微表情識別結果集，包括：

通過光流法獲取各用戶視頻的視頻圖像序列中包含微表情的圖像幀；

根據預設的經驗幀數值，在各用戶視頻對應的包含微表情的圖像幀中獲取與所述經驗幀數值相等張數的連續多幀圖像，以組成各用戶視頻對應的微表情序列；

調用預先構建的權重計算層計算各用戶視頻對應的微表情序列中每一幀圖像的權重特征向量，以得到各用戶視頻中每一幀圖像的結合權重值的圖像特征向量；

將各用戶視頻中每一幀圖像的結合權重值的圖像特征向量進行求和，得到所述各用戶視頻對應的綜合圖像特征向量；

將各用戶視頻對應的綜合圖像特征向量輸入至預先訓練的卷積神經網絡，得到各用戶視頻對應的微表情識別結果，以組成微表情識別結果集。

5.根據權利要求4所述的基于情緒識別的駕駛員上崗駕駛檢測方法，其特征在于，所述通過光流法獲取各用戶視頻的視頻圖像序列中包含微表情的圖像幀，包括：

獲取各用戶視頻的視頻圖像序列的各像素點對應的速度矢量特征；

若視頻圖像序列中存在至少一幀圖像的所述速度矢量特征未保持連續變化，由對應圖片組成對應用戶視頻中包含微表情的圖像幀。