[發明專利]復雜環境下基于深度學習的異常檢測方法

有效

• 申請號: 201710535492.8
• 申請日: 2017-07-03
• 公開（公告）號: CN107330410B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 邱鵬;霍瑛;黃陳蓉;陳行
• 申請（專利權）人: 南京工程學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/246;G06T7/73
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

1.一種復雜環境下基于深度學習的異常檢測方法，其特征在于：通過長短期記憶模型進行多物體軌跡追蹤，之后捕捉相鄰個體間的非線性時空動作并預測它們未來的運動軌跡，根據個體未來運動軌跡的異常概率來完成異常檢測，具體包括以下步驟：

步驟1、將卷積神經網絡回歸法提取的物體時空特征輸入LSTM模型，追蹤復雜環境中多物體的運動軌跡；

步驟2、在多物體無規則運動的情況下捕捉相鄰個體的非線性時空動作，評估相鄰個體間運動軌跡的依賴性，預測它們未來的運動軌跡；步驟2具體為：

步驟21、在多物體無規則運動的情況下捕捉相鄰個體的非線性時空動作，具體為：

步驟211、判斷兩個相鄰物體在時空域的兩條運動軌跡是否相干，具體是如果兩個動態物體的運動軌跡在時空域相干，即當相鄰物體相對速度保持不變時，則它們具有相似的隱態；

步驟212、對于每一個物體的運動軌跡，LSTM模型將創建并追蹤物體的一系列非線性時空動作，通過相干正則化整合自身物體和相鄰物體狀態，從而更新LSTM模型存儲單元狀態，相干正則化表達式為：

其中，c_t代表存儲單元狀態信息累加器，f_t為遺忘門，用來重置存儲單元狀態，如果遺忘門被激活，那么上一時間的存儲單元狀態c_t-1將被忘記，⊙代表數組操作；i_t為輸入門，在當前時間輸入x_t和上一時間的隱藏層h_t-1被激活；W為權矩陣，W_xc為遞歸存儲單元態輸入矩陣，W_hc遞歸隱態輸入矩陣，b_c為偏差向量；代表相鄰物體的軌跡和時空特征，λ_j(t)是物體間的依賴權值，f^j_t和c^j_t-1分別是LSTM模型相干物體的當前遺忘門狀態和上一時間存儲單元狀態；

步驟22、評估相鄰個體間運動軌跡的依賴性，具體包括以下步驟：

步驟221、通過LSTM模型的隱態信息獲得相鄰個體運動的時變特性；

步驟222、使用成對速度相關性評估相鄰個體間運動軌跡的依賴性，相鄰個體間運動軌跡依賴性的權值λ_j(t)的表達式為：

其中，i和j表示相鄰個體的運動軌跡，v_i(t)和v_j(t)表示相鄰物體各自的速度，σ為歸一化常數，兩個速度值相乘并且通過歸一化常數進行歸一化運算，γ_i用于求得依賴性權值，當相鄰個體的運動軌跡i和j偏差越大時，λ_j(t)的值越趨近于0，當相鄰個體運動軌跡i和j相似度越高時，λ_j(t)的值越趨近于1；

步驟23、采用編碼-解碼框架訓練LSTM模型預測物體未來的運動軌跡；步驟23具體為：

步驟231、通過學習訓練，基于LSTM模型的編碼器將運動軌跡的輸入映射到一個定長向量，在編碼階段的隱式向量用表達式描述為：h_T＝LSTM_e(Z_T,h_T-1)，h_T為當前時間隱式向量，LSTM_e表示基于LSTM模型的編碼器將物體運動軌跡的輸入Z_T映射到上一時間隱式向量h_T-1；

步驟232、在學習訓練中，基于LSTM模型的解碼器利用定長隱式向量預測物體未來的運動軌跡，隱式向量表達式為：LSTM_d表示基于LSTM模型的解碼器利用上一時間隱式向量h_T-1獲得當前時間隱式向量h_T之后，通過當前時間物體運動軌跡輸入Z_T預測作為輸出的下一時間物體運動軌跡

步驟3、根據個體未來運動軌跡的異常概率來完成異常檢測。

2.如權利要求1所述的復雜環境下基于深度學習的異常檢測方法，其特征在于，步驟1具體為：

步驟11、將卷積神經網絡回歸法提取的物體時空特征輸入LSTM模型；引入YOLO將物體檢測作為回歸問題求解，完成從原始圖像的輸入到圖像中所有物體的位置和其所屬類別及相應的置信概率的輸出，將通過YOLO得到的特征向量作為LSTM模型的輸入幀；輸入幀函數為其中，ф(x_t)表示LSTM模型的輸入幀函數，x_t為在時間t時的原始圖像輸入幀，conv_θc(.)為參數是θ_c的卷積神經網絡，表示在前一幀x_t-1預測的物體位置；

步驟12、追蹤復雜環境中多物體的運動軌跡；LSTM模型是深度遞歸網絡，用于回歸物體邊界框的像素亮度和位置，將它們作為原始輸入幀進行逐幀檢測和追蹤，全程軌跡追蹤概率的數學表達式為其中，B_T和X_T分別是在最大時間T時物體位置和輸入幀，B_t則是表示在時間t物體的位置，且1≤t≤T，B_T是在時間T之前所有的位置，X_≤T是到時間T為止所有的輸入幀。