[發明專利]一種司機狀態綜合監測方法和系統

在審

• 申請號: 201911083414.4
• 申請日: 2019-11-07
• 公開（公告）號: CN110807899A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 肖驍;于銀剛
• 申請（專利權）人: 交控科技股份有限公司
• 主分類號: G08B21/06
• 分類號: G08B21/06;G08B21/24;G10L25/63
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

1.一種司機狀態綜合監測方法，其特征在于，包括：

采集圖像數據和語音數據；

對所述圖像數據進行動作識別和面部表情識別，分別得到手指動作信息和面部表情信息，并對所述語音數據進行語音內容識別和語音情感識別，分別得到語音內容信息和語音情感信息；

根據所述手指動作信息、面部表情信息、語音內容信息和語音情感信息，結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測以得到司機狀態。

2.根據權利要求1所述的司機狀態綜合監測方法，其特征在于，所述根據所述手指動作信息、面部表情信息、語音內容信息和語音情感信息，結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測以得到司機狀態，具體包括：

根據所述手指動作信息和語音內容信息，進行手指呼喚檢測，用于判斷是否符合預設的手指呼喚操作標準；

根據所述手指動作信息、面部表情信息和語音情感信息，分別進行疲勞檢測，用于判斷司機是否出現疲勞狀態；

根據所述語音內容信息、本次列車的操作信息和狀態信息，進行決策合理性檢測，用于判斷所述語音內容信息所表征的操作決策與所述操作信息中的操作決策是否一致，或者所述語音內容信息所表征的列車狀態與所述狀態信息中列車狀態是否一致。

3.根據權利要求2所述的司機狀態綜合監測方法，其特征在于，所述司機狀態綜合監測方法還包括：

若根據所述狀態檢測的檢測結果判定所述司機狀態為異常，則根據所述檢測結果執行預警流程。

4.根據權利要求3所述的司機狀態綜合監測方法，其特征在于，所述若根據所述狀態檢測的檢測結果判定所述司機狀態為異常，則根據所述檢測結果執行預警流程，具體包括：

若判定所述司機狀態為異常，則根據檢測結果，執行與所述狀態檢測的預警等級對應的預警流程；其中，所述手指呼喚檢測和疲勞檢測對應的預警等級為二級預警，所述決策合理性檢測對應的預警等級為一級預警，所述一級預警的預警等級高于所述二級預警的預警等級。

5.根據權利要求4所述的司機狀態綜合監測方法，其特征在于，所述司機狀態綜合監測方法還包括：

根據語音內容信息，以及獲取到的與本次列車對應的軌旁設備的狀態信息和其它列車的狀態信息，確定是否存在行車事故風險；

若存在行車事故風險，則執行所述一級預警的預警流程。

6.一種司機狀態綜合監測系統，其特征在于，包括：數據采集設備和車載計算機，其中，

所述數據采集設備，用于采集圖像數據和語音數據；

所述車載計算機，用于對所述圖像數據進行動作識別和面部表情識別，分別得到手指動作信息和面部表情信息，并對所述語音數據進行語音內容識別和語音情感識別，分別得到語音內容信息和語音情感信息；

所述車載計算機，還用于根據所述手指動作信息、面部表情信息、語音內容信息和語音情感信息，結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測以得到司機狀態。

7.根據權利要求6所述的司機狀態綜合監測系統，其特征在于，所述車載計算機具體用于：

根據所述手指動作信息和語音內容信息，進行手指呼喚檢測，用于判斷是否符合預設的手指呼喚操作標準；

根據所述手指動作信息、面部表情信息和語音情感信息，分別進行疲勞檢測，用于判斷司機是否出現疲勞狀態；

根據所述語音內容信息、本次列車的操作信息和狀態信息，進行決策合理性檢測，用于判斷所述語音內容信息所表征的操作決策與所述操作信息中的操作決策是否一致，或者所述語音內容信息所表征的列車狀態與所述狀態信息中列車狀態是否一致。

8.根據權利要求7所述的司機狀態綜合監測系統，其特征在于，所述司機狀態綜合監測系統還包括：預警設備，其中，

所述車載計算機，還用于若根據所述狀態檢測的檢測結果判定所述司機狀態為異常，則將所述檢測結果對應的預警信息發送給所述預警設備；

所述預警設備，用于根據所述預警信息執行預警流程。