[發明專利]一種基于黎曼流形特征和LSTM網絡相結合的交通異常事件檢測方法在審

申請號：	202110040380.1	申請日：	2021-01-13
公開（公告）號：	CN112733734A	公開（公告）日：	2021-04-30
發明（設計）人：	夏利民;李振民	申請（專利權）人：	中南大學
主分類號：	G06K9/00	分類號：	G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/246;G06T7/269
代理公司：	暫無信息	代理人：	暫無信息
地址：	410083 湖南***	國省代碼：	湖南;43
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于黎曼流形特征 lstm 網絡相結合交通異常事件檢測方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于黎曼流形特征和LSTM網絡相結合的交通異常事件檢測方法，包括：對視頻幀子區域提取HOG、HOF特征分別作為外觀特征和運動特征；對特征組成的時間序列提供流形表示，并使用ISOMAP算法嵌入到低維歐式空間中，解決傳統特征無法反映外觀變化率和運動變化率的問題；訓練了一個單層單向LSTM網絡用于特征預測，捕捉特征序列的時間變化規律；將均方誤差和峰值信噪比相結合，提供判斷當前子區域是否存在異常事件的異常得分。相對于傳統的手工交通異常事件檢測方法，實現了監控、檢測的自動化、智能化、精準化，具有較高的檢測效率和實時性，在處理大規模交通監控視頻時可以快速準確的定位事故異常發生的場景與時間。

技術領域

本發明涉及視頻監控領域，首次將黎曼流形應用于交通異常事件檢測領域。

背景技術

交通異常事件檢測的主要目的是自動的在交通監控視頻中檢測當前監控的圖像中是否存在如逆行、違規變道、闖紅燈等行為，并可以定位其發生的具體位置。交通異常檢測技術能夠幫助我們更好的實施交通監控，及時有效的通知相關人員進行突發情況的處理，省去了傳統監控人員的大量人工操作，可以大幅提升監控效率。此外，通過對事故多發路段進行監控和分析，還可以推斷其事故易發的原因，從而通過城市規劃手段進行優化處理，減少有關路段的事故發生頻率。

由于交通異常事件涉及大量的運動異常和外觀異常，這些異常不僅反映在外觀、運動的變化上，還體現在其變化率上，傳統的特征提取方法，SF(Social?Force，社會力)、DT(Dense?trajectory，稠密軌跡)等更加關注于單純的外觀或運動，而不能很好的反映外觀、運動的變化率。為此，選擇交通視頻監控領域作為研究重點，針對大量交通監控視頻構建大規模有標注數據庫，利用流形學與深度學習算法相結合表征外觀、運動的變化率，進一步完成交通異常事件檢測，具有深遠的研究意義。

發明內容

本發明的目的是為了傳統交通場景監控中，人工監控效率低下，檢測費時費力的問題。

本發明是這樣實現的，一種基于黎曼流形特征和LSTM網絡相結合的交通異常事件檢測方法，所述方法包括以下步驟：

將正常交通監控視頻幀劃分為多個不重疊的子區域，每個子區域將作為后續的異常檢測模型的訓練樣本；

使用HOG和HOF對歷史監控圖像幀內的各個子區域進行特征提取，構成特征時間序列，其中HOG將作為外觀特征，而HOF將作為運動特征；

使用ISOMAP與黎曼流形相結合的方法對特征序列進行表示，反映對象的外觀和運動變化規律；

使用LSTM網絡，作為特征預測網絡，對當前時刻的HOG和HOF特征進行預測，從而捕捉正常事件特征的時序變化規律；

再次使用ISOMAP與黎曼流形相結合的方法對加入預測后的特征進行表示，得到當前時刻的預測流形特征，致使流形特征可以表征外觀和運動變化率；

針對測試視頻，同樣將視頻幀劃分為多個不重疊的子區域，提取其HOG、HOF特征，并使用訓練好的LSTM網絡對當前時刻的特征進行預測，同時得到包含預測特征的流形表示；

設計了一個異常得分計算方法，考慮了預測特征和實際特征之間的區別，并考慮了預測流形和實際流形之間的差異，根據設計好的異常得分計算異常得分，最終那些異常得分超過閾值的子區域將被視為異常區域，而異常得分則表示了當前子區域的異常程度。

附圖說明

圖1，本發明的模型整體框架圖；