[發明專利]一種基于深度學習的電梯轎廂內乘客異常行為檢測系統

有效

• 申請號: 202110026336.5
• 申請日: 2021-01-08
• 公開（公告）號: CN112830359B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 趙逢達;李賢善;韓超
• 申請（專利權）人: 燕山大學
• 主分類號: B66B5/00
• 分類號: B66B5/00;B66B1/34
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 姜威威;李洪福

1.一種基于深度學習的電梯轎廂內乘客異常行為檢測系統，其特征在于：包括給定多個不同電梯的地址以及對應電梯內攝像頭地址的WEB模塊；

接收所述WEB模塊分別傳送多個不同電梯的地址以及對應電梯內攝像頭地址的多各個結構相同的電梯乘客行為獲取及檢測模塊；所述電梯乘客行為獲取及檢測模塊對電梯的轎廂內視頻進行獲取并對獲取的視頻進行乘客的異常行為和正常行為的區分，得到乘客的行為區分結果；

接收多個所述電梯乘客行為獲取及檢測模塊傳送的乘客的行為區分結果，并對多個電梯乘客行為的區分結果進行顯示并報警的WEB模塊；

其中，所述電梯乘客行為獲取及檢測模塊包括：采用深度學習中的卷積神經網絡對乘客的異常行為和正常行為進行分析，得到乘客乘坐電梯時正常行為和異常行為的區分結果的行為分析子模塊；

所述行為分析子模塊是由2D卷積子網絡和3D卷積子網絡經過特征拼接結合而成的深度學習模型，該模型的輸入是RGB圖像幀；

所述2D卷積子網絡采用部分GhostNet為主干網絡，由四個Ghost-Bottleneck塊拼接而成，其中Ghost-Bottleneck塊又由兩個GhostModule模塊和一個深度可分離卷積模塊堆疊而成，而GhostModule又分為主卷積運算和簡單轉換運算，先由主卷積生成特征圖，然后使用簡單轉換運算對主卷積生成的特征圖進行變換，最后把兩部分的特征圖拼接到一起，輸入到下一個GhostModule；在第4個Ghost Bottleneck塊中加入SE模塊的注意力機制；

所述3D卷積子網絡采用的是3D-Shufflenetv2的結構，由6個3D卷積模塊組成，其中，每個3D卷積模塊是由1×1×1、3×3×3和1×1×1卷積分別計算，最后合并到一起到下一個3D卷積模塊，最后用全連接層分類出異常和正常行為。

2.根據權利要求1所述的一種基于深度學習的電梯轎廂內乘客異常行為檢測系統，其特征在于：所述電梯乘客行為獲取及檢測模塊包括對電梯轎廂內乘客乘坐電梯時的視頻信息和音頻信息進行采集的視頻采集子模塊；

接收所述視頻采集子模塊傳送的電梯轎廂內乘客乘坐電梯時的視頻信息和音頻信息，并對其進行標注，并將標注后的數據作為數據集來進行訓練，并對視頻流中的圖片幀做稀疏處理的預處理子模塊；

接收所述數據預處理子模塊傳送的視頻流中的圖片幀稀疏采樣后的數據，并對視頻流中的圖片幀稀疏采樣后的數據采用深度學習中的卷積神經網絡對乘客的異常行為和正常行為進行分析，得到乘客乘坐電梯時正常行為和異常行為的區分結果的行為分析子模塊；

接收所述行為分析子模塊傳送的乘客乘坐電梯時正常行為和異常行為的區分結果，將乘客乘坐電梯時正常行為和異常行為的區分結果傳送給所述WEB模塊的異常處理子模塊。

3.根據權利要求2所述的一種基于深度學習的電梯轎廂內乘客異常行為檢測系統，其特征在于：所述視頻采集子模塊采用安裝在電梯轎廂頂部的具有語音對話功能的攝像頭。

4.根據權利要求1所述的一種基于深度學習的電梯轎廂內乘客異常行為檢測系統，其特征在于：所述行為分析子模塊包括2D卷積子網絡和3D卷積子網絡。

5.根據權利要求1所述的一種基于深度學習的電梯轎廂內乘客異常行為檢測系統，其特征在于：所述行為分析子模塊對視頻流中的圖片幀稀疏處理后的數據采用卷積神經網絡對乘客的異常行為和正常行為進行分析，得到乘客乘坐電梯時正常行為和異常行為的過程如下：

所述2D卷積子網絡通過GhostNet對視頻流中的圖像幀進行初次提取空間特征圖，然后將初次提取得到空間特征圖進行空間變換，得到其余的特征圖，則得到2D卷積子網絡提取到的所有特征圖；

所述3D卷積子網絡通過3D-Shufflenetv2中通道分離的方式對2D卷積子網絡提取到的特征圖進行時空特征的處理，得到視頻流中圖片關于時間和空間維度的特征圖；將得到的視頻流中圖片關于時間和空間維度的特征圖進行融合，經過分類后，最終得到乘客乘坐電梯時正常行為和異常行為的區分結果。