[發(fā)明專利]一種網約車司乘人員的行為智能識別檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111522294.0
• 申請日: 2021-12-13
• 公開（公告）號: CN114419608A
• 公開（公告）日: 2022-04-29
• 發(fā)明（設計）人: 王梟雄;胡建鵬
• 申請（專利權）人: 上海工程技術大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/18;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 劉朵朵

1.一種網約車司乘人員行為的智能識別檢測方法，其特征在于，主要包括如下步驟：

(1)構建異常檢測模型；

(2)采集司機和乘客的實時監(jiān)控視頻圖像數據及體溫信息，并進行預處理；

(3)針對所述采集信息基于步驟(1)的檢測模型進行異常行為識別；

(4)識別異常后進行語音提示并將異常行為上傳服務端后臺做相應的評分處理。

2.根據權利要求1所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：所述的異常檢測模型包括：口罩識別模型，面部檢測模型和體溫檢測模型。

3.根據權利要求2所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：所述口罩識別模型為單個深度神經網絡SSD模型，所述單個深度神經網絡SSD模型以VGG-16架構為基礎，以300*300尺寸圖像為輸入，包含三個預處理卷積層和五個特征提取卷積層的特征提取網絡，只保留了相關的分類損失：檢測框回歸損失和面部標志回歸損失，去掉了面部密集點和回歸損失，定義匹配成功的標準為兩者區(qū)域的重合部分(overlap)大于閾值0.5，定義網絡的目標損失函數為：

其中，N為匹配的檢測結果的個數，L_loc為位置損失，L_conf為置信度損失，α為權重，設置為1。

4.根據權利要求3所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：所述步驟(3)中，使用所述單個深度神經網絡SSD模型，提取所述司機和乘客的面部圖像，對所述司機和乘客是否正確佩戴口罩進行檢測，檢測有口罩并蓋住口鼻判定為正確佩戴，檢測有口罩并漏出口鼻、口罩在嘴部下方以及未檢測到有口罩則判定為異常。

5.根據權利要求2所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：所述面部檢測模型為運用壓縮與激勵網絡SeNet結合多任務卷積神經網絡MTCNN訓練針對司機面部圖像信息，其生成方法如下：

Resize部分對輸入圖像進行縮放，得到不同尺寸的輸入圖像，堆疊得到圖像金字塔；

將圖片金字塔作為P-Net的輸入，P-Net為一個全卷積網絡，經過三層的卷積，得到輸入圖像人臉位置的建議區(qū)域，提供給R-Net；R-Net接收到P-Net的眾多建議位置后，經過卷積神經網絡輸出置信度高的人臉區(qū)域，提供給O-Net使用；

O-Net輸出：除人臉位置信息外還會輸出人臉區(qū)域上的五個特征點；

給數據集添加睜眼、閉眼、張嘴、閉嘴、抽煙、打電話的類別，并存儲本車司機圖像信息；

在MTCNN的基礎上，添加一個具有3個卷積層的卷積神經網絡訓練分類模型。

6.根據權利要求5所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：步驟(3)中，使用所述面部檢測模型，提取所述司機面部圖像；

與數據集中的所述本車司機信息進行比對，如果不是本車司機則判定為異常；

計算所述司機眼睛的張開程度與嘴部的張開程度，根據PERCLOS算法計算單位時間內閉眼時間所占的比例數值p，統(tǒng)計單位時間內嘴部動作頻率F，根據以下數據融合算法，計算得到疲勞閾值γ；

高于閾值，則判定司機處于疲勞狀態(tài)；

提取特征，分割和匹配處理判定是否為打電話、抽煙或脫崗的異常行為。

7.根據權利要求2所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：所述體溫檢測模型，具體為設定體溫閾值；所述步驟(3)中，對所述司機和乘客的體溫進行監(jiān)測，高于閾值則判定為異常。

8.根據權利要求7所述的網約車司乘人員的行為智能識別檢測方法，其特征在于：所述步驟(3)還包括，識別到所述體溫異常信息時獲取異常人員的定位信息。

9.一種網約車司乘人員行為的智能識別檢測系統(tǒng)，其特征在于：包括錄入模塊，采集模塊，識別模塊、通信模塊和語音播放模塊；

所述錄入模塊用于構建異常檢測模型；

所述采集模塊用于采集司機和乘客的實時監(jiān)控視頻圖像數據及體溫信息；

所述識別模塊使用所述異常檢測模型判定所述司機和乘客的圖像和體溫信息是否異常；

所述通信模塊用于將異常行為上傳服務端后臺做相應的評分處理；

所述語音播放模塊用于識別異常后進行語音提示。