[發明專利]基于深度學習的地鐵站行人異常事件檢測方法

有效

• 申請號: 201910613134.3
• 申請日: 2019-07-09
• 公開（公告）號: CN110532852B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 張輝;裴宇;李樹濤;鐘杭;劉理;鄧廣;李玲
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 深圳市興科達知識產權代理有限公司 44260
• 代理人: 王翀

1.一種基于深度學習的地鐵站行人異常事件檢測方法，其特征在于，包括以下步驟：

步驟1、整合處理可見光的數據集VOC2007、VOC2012和紅外場景數據集CVC09、CVC14四個數據集，獲得包含22139張圖片樣本的行人檢測數據集；

步驟2、對獲得的行人檢測數據集進行格式轉換，將VOC2007、VOC2012兩個數據集的XML格式的標注文件使用腳本VCO_LABELS.PY轉化為TXT格式的標注文件，每個TXT文本中每一行為對應圖片樣本中的一個行人的相對位置；將CVC09、CVC14兩個數據集的TXT格式的標注文件中的絕對位置轉化為相對位置；

步驟3、利用腳本VCO_LABELS.PY生成兩個包含圖片樣本路徑的TXT文檔，一個為訓練集樣本圖片路徑的文檔，另一個為測試集樣本圖片路徑的文檔，分割比例為8：2；

步驟4、下載DARKNET，進行編譯，修改配置文件，將檢測類別數修改為1，輸出濾波器數量修改為18，將訓練和測試樣本圖片的路徑修改為步驟3生成的TXT文檔，修改檢測類別名為person；

步驟5、設置訓練參數，將學習率設置為0.0001，訓練批次大小設置為64，迭代次數設置為50000，開始訓練，生成行人檢測模型；其中所述行人檢測模型是通過重新訓練YOLOv3目標檢測算法所獲得，具體的，使用預訓練過的權重模型載入YOLOv3深度學習神經網絡中，之后將步驟3重新整合處理的行人檢測數據集訓練集樣本，輸入到YOLOv3深度學習神經網絡中進行訓練，獲得基于YOLOv3的行人檢測模型；

步驟6、對行人檢測模型進行評估，利用DARKNET自帶的腳本對行人檢測模型進行評估，得到召回率、檢測精度以及平均精度三個指標，繪制PR曲線；

步驟7、使用訓練生成的行人檢測模型文件進行行人檢測，將輸入的監控視頻拆分成幀，對每一幀進行行人檢測，從而完成對監控視頻的行人檢測；

步驟8、完成行人追蹤，使用適用于行人目標的追蹤算法Deepsort完成地鐵站中的行人追蹤；具體包括如下步驟：

步驟8.1、對輸入的當前幀的檢測結果進行處理，包括刪去置信度過低的檢測框，并使用非極大值抑制算法刪去重合較多的檢測框；

步驟8.2、使用卡爾曼濾波器預測軌跡目標在當前幀的位置，即卡爾曼狀態；

步驟8.3、聯合上一幀所預測的卡爾曼狀態和檢測結果之間的運動和表觀信息匹配信息度量，使用匈牙利算法進行匹配，得到匹配結果；

步驟8.3.1、計算預測的卡爾曼狀態和當前幀檢測框結果間的馬氏距離；

步驟8.3.2、計算第i個軌跡的最近100個成功匹配的特征集與當前幀第j個檢測結果的特征向量間的最小余弦距離，i和j均為大于0的自然數；

步驟8.3.3、結合運動度量的馬氏距離與表觀特征度量的最小余弦距離矩陣，使用匈牙利算法進行級聯匹配；

步驟8.3.4、對當前幀未匹配上的檢測框與未匹配上的軌跡計算IOU，使用匈牙利算法進行再匹配，得到最終的匹配結果；

步驟8.4、匹配上的當前幀檢測框與軌跡，完成行人目標的追蹤，并進行卡爾曼濾波器參數和軌跡里存儲的特征向量集參數的更新，未匹配上的檢測框初始化獨特的軌跡，超過三十幀未匹配上的軌跡將會被刪除；

步驟9、進行警戒線位置的檢測和定位，為入侵異常檢測做準備；入侵異常是針對有警戒線警示的區域，進行警戒線位置的檢測和定位具體包括如下步驟：

步驟9.1、需要進行入侵檢測時，對輸入監控視頻選擇警戒線沒有行人遮擋的一幀圖片作為警戒線檢測的輸入；

步驟9.2、對輸入視頻幀進行顏色提取，針對警戒線的橙色或黃色部分進行提取，首先將輸入視頻幀轉化為HSV格式，通過圖像處理庫OPEN-CV構建一個HSV取值的掩模，其掩模范圍為11＜H＜34,43＜S＜255,46＜V＜255，通過此掩模對輸入視頻幀進行處理，得到只剩下橙色和黃色的部分圖像，其中，H，S，V分別為色相，飽和度，明度；

步驟9.3、對顏色提取的結果圖像進行邊緣檢測，確定橙色或黃色部分的邊緣，通過圖像處理庫OPEN-CV中的CANNY邊緣檢測算子對圖像進行處理，得到二值化的邊緣檢測結果圖像；

步驟9.4、對邊緣檢測結果圖像進行霍夫變換，得到警戒線邊緣的直線方程，直線方程是在以圖像左上角作為原點建立的坐標系下的，使用OPEN-CV中的霍夫變換函數對邊緣檢測結果圖像進行處理，在霍夫變換函數中對邊緣直線的長度進行過濾，去掉長度過短的直線，留下警戒線的邊緣直線方程；

步驟10、進行入侵異常檢測，通過行人立足點位置來確定行人在圖像中的位置，立足點取行人檢測框的底邊中點，結合警戒線檢測的結果，判斷行人是否發生入侵異常；

步驟11、進行逆行異常檢測，通過前后15幀同一行人構成的運動方向向量，計算其與預設絕對逆行方向向量間的角度差進行逆行異常判斷；

步驟12、進行摔倒異常判斷，通過計算前后3幀的行人質心位置Y坐標的相對變化量和行人檢測框寬高比的相對變化量，判斷行人是否發生摔倒異常；

步驟13、重復步驟7,8,10,11,12，直至整個輸入視頻處理結束。