[發明專利]一種網約車司乘人員的行為智能識別檢測方法及系統

在審

• 申請號: 202111522294.0
• 申請日: 2021-12-13
• 公開（公告）號: CN114419608A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 王梟雄;胡建鵬
• 申請（專利權）人: 上海工程技術大學
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V40/16;G06V40/18;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 劉朵朵

本發明提出了一種網約車司乘人員的行為智能識別檢測方法及系統，屬于圖像信號處理和數據采集技術領域。本方法包括：構建異常檢測模型；采集司機和乘客的實時監控視頻圖像數據及體溫信息，并進行預處理；針對所述采集信息基于檢測模型進行異常行為識別；識別異常后進行語音提示并將異常行為上傳服務端后臺做相應的評分處理。所述的異常檢測模型包括：口罩識別模型，面部檢測模型和體溫檢測模型，基于上述模型，本方法能夠完成司機的人臉確認、司機的危險駕駛行為檢測、司機和乘客的口罩檢測以及司機和乘客的體溫檢測和異常人員位置定位，可以準確有效的識別出司乘人員的危險駕駛、違反疫情防控規定的行為，實現智能識別監控的目的。

技術領域

本發明涉及圖像信號處理和數據采集技術領域，具體涉及一種網 約車司乘人員的行為智能識別檢測方法及系統。

背景技術

研究調查發現，網約車司機在駕駛中出現分心與乘客聊天、手持 電話、吸煙等危險駕駛行為以及疲勞駕駛是引發道路事故的重要因 素。因此，對危險駕駛行為進行有效檢測成為了交通領域的研究熱點。

發明內容

本發明提供了一種網約車司乘人員的行為智能識別檢測方法及 系統，盡可能的解決在上述背景技術中所提到的相關問題，從而達到 該發明的系統設計能夠有效幫助提醒網約車司機非正常駕駛操作，提 高網約車司機的專注度，降低交通事故造成的財產損失和人員傷亡并 保證疫情防控的政策落實。

為了達到上述目的，本發明采取的技術方案為：一種網約車司乘 人員行為的智能識別檢測方法，其特征在于，主要包括如下步驟：

(1)構建異常檢測模型；

(2)采集司機和乘客的實時監控視頻圖像數據及體溫信息，并 進行預處理；

(3)針對所述采集信息基于步驟(1)的檢測模型進行異常行為 識別；

(4)識別異常后進行語音提示并將異常行為上傳服務端后臺做 相應的評分處理。

進一步的，所述的異常檢測模型包括：口罩識別模型，面部檢測 模型和體溫檢測模型。

進一步的，所述口罩識別模型為單個深度神經網絡SSD模型，所 述單個深度神經網絡SSD模型以VGG-16架構為基礎，以300*300尺 寸圖像為輸入，包含三個預處理卷積層和五個特征提取卷積層的特征 提取網絡，只保留了相關的分類損失：檢測框回歸損失和面部標志回 歸損失，去掉了面部密集點和回歸損失，定義匹配成功的標準為兩者 區域的重合部分(overlap)大于閾值0.5定義網絡的目標損失函數為：

其中，N為匹配的檢測結果的個數，L_loc為位置損失，L_conf為置信度損 失，α為權重，設置為1。

進一步的，所述步驟(3)中，使用所述深度神經網絡SSD模型， 提取所述司機和乘客的面部圖像，對所述司機和乘客是否正確佩戴口 罩進行檢測，檢測有口罩并蓋住口鼻判定為正確佩戴，檢測有口罩并 漏出口鼻、口罩在嘴部下方以及未檢測到有口罩則判定為異常。

進一步的，所述面部檢測模型為運用壓縮與激勵網絡SeNet結合 多任務卷積神經網絡MTCNN訓練針對司機面部圖像信息，其生成方法 如下：

Resize部分對輸入圖像進行縮放，得到不同尺寸的輸入圖像，堆 疊得到圖像金字塔；

將圖片金字塔作為P-Net的輸入，P-Net為一個全卷積網絡，經 過三層的卷積，得到輸入圖像人臉位置的建議區域，提供給R-Net；

R-Net接收到P-Net的眾多建議位置后，經過卷積神經網絡輸出 置信度高的人臉區域，提供給O-Net使用；

O-Net輸出：除人臉位置信息外還會輸出人臉區域上的五個特征 點；