[發明專利]一種司機狀態綜合監測方法和系統

在審

• 申請號: 201911083414.4
• 申請日: 2019-11-07
• 公開（公告）號: CN110807899A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 肖驍;于銀剛
• 申請（專利權）人: 交控科技股份有限公司
• 主分類號: G08B21/06
• 分類號: G08B21/06;G08B21/24;G10L25/63
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明實施例提供一種司機狀態綜合監測方法和系統。所述方法包括采集圖像數據和語音數據；對圖像數據進行動作識別和面部表情識別，得到手指動作信息和面部表情信息，并對語音數據進行語音內容識別和語音情感識別，得到語音內容信息和語音情感信息；根據手指動作信息、面部表情信息、語音內容信息和語音情感信息，結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測以得到司機狀態，本發明實施例通過對采集到的圖像數據和語音數據進行相應地識別以得到手指動作信息、面部表情信息、語音內容信息和語音情感信息，再結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測，從而根據檢測結果更加快速、準確地得到的司機狀態。

技術領域

本發明涉及軌道交通技術領域，尤其涉及一種司機狀態綜合監測方法和系統。

背景技術

在軌道交通中，列車是由司機控制的，司機的健康狀態，是否疲勞對于安全有極為重要的意義。在客運鐵路中，很多車次都要長時間運行，所以要求司機具有4小時的強制睡眠。但是睡眠的效果目前無法評測。對于城市軌道交通，司機要長時間駕駛，隧道的封閉環境，更容易導致司機疲勞。

現有規范要求手指呼喚，即口中呼喚確認的內容，一般由正司機呼喚，副司機復誦。手指呼喚能夠預防和減少行車過程中的一些安全因素，降低司機的誤操作。提高司機精神狀態，提高警覺性和行車準確性，降低因為人為疏忽造成的事故的幾率。

在現有技術中，司機的疲勞監測大部分使用了基于視頻的方法，即使用攝像頭拍攝司機的面部特別是眼睛，通過面部特征的變化和眼睛肌肉的變化來監測司機是否疲勞。但是該監測方式需要司機配合，使得攝像頭能夠拍攝到司機的面部和眼睛，對司機提出了額外的要求，因此無法保證得到的監測結果的準確性和可靠性。

發明內容

由于現有方法存在上述問題，本發明實施例提供一種司機狀態綜合監測方法和系統。

第一方面，本發明實施例提供了一種司機狀態綜合監測方法，包括：

采集圖像數據和語音數據；

對所述圖像數據進行動作識別和面部表情識別，分別得到手指動作信息和面部表情信息，并對所述語音數據進行語音內容識別和語音情感識別，分別得到語音內容信息和語音情感信息；

根據所述手指動作信息、面部表情信息、語音內容信息和語音情感信息，結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測以得到司機狀態。

進一步地，所述根據所述手指動作信息、面部表情信息、語音內容信息和語音情感信息，結合本次列車的操作信息和狀態信息，進行預設種類的狀態檢測以得到司機狀態，具體包括：

根據所述手指動作信息和語音內容信息，進行手指呼喚檢測，用于判斷是否符合預設的手指呼喚操作標準；

根據所述手指動作信息、面部表情信息和語音情感信息，分別進行疲勞檢測，用于判斷司機是否出現疲勞狀態；

根據所述語音內容信息、本次列車的操作信息和狀態信息，進行決策合理性檢測，用于判斷所述語音內容信息所表征的操作決策與所述操作信息中的操作決策是否一致，或者所述語音內容信息所表征的列車狀態與所述狀態信息中列車狀態是否一致。

進一步地，所述司機狀態綜合監測方法還包括：

若根據所述狀態檢測的檢測結果判定所述司機狀態為異常，則根據所述檢測結果執行預警流程。

進一步地，所述若根據所述狀態檢測的檢測結果判定所述司機狀態為異常，則根據所述檢測結果執行預警流程，具體包括：

若判定所述司機狀態為異常，則根據檢測結果，執行與所述狀態檢測的預警等級對應的預警流程；其中，所述手指呼喚檢測和疲勞檢測對應的預警等級為二級預警，所述決策合理性檢測對應的預警等級為一級預警，所述一級預警的預警等級高于所述二級預警的預警等級。