[發(fā)明專利]一種基于對偶記憶模塊的視頻異常檢測方法及系統有效
| 申請?zhí)枺?/td> | 202011561521.6 | 申請日： | 2020-12-25 |
| 公開（公告）號： | CN112633180B | 公開（公告）日： | 2022-05-24 |
| 發(fā)明（設計）人： | 郭鑫;蔡登;金仲明;陳沖;聶賀磊;黃建強;何曉飛 | 申請（專利權）人： | 浙江大學 |
| 主分類號： | G06V20/40 | 分類號： | G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04 |
| 代理公司： | 杭州天勤知識產權代理有限公司 33224 | 代理人： | 彭劍 |
| 地址： | 310013 浙江*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 對偶 記憶 模塊 視頻 異常 檢測 方法 系統 | ||
1.一種基于對偶記憶模塊的視頻異常檢測方法，其特征在于，包括以下步驟：
(1)將連續(xù)幀作為卷積神經網絡輸入，提取低維特征空間特征作為對偶記憶模塊的問詢特征；
(2)利用問詢特征和對偶記憶模塊中的記憶向量，分別計算得到正常和異常特征空間的新特征；
(3)把正常和異常特征空間的新特征分別輸入到兩個判別器中，利用判別函數訓練得到判別特征空間；
(4)將正常和異常特征空間的新特征串聯作為生成器的輸入，進而生成未來幀；
(5)利用判別函數和重構函數進行模型參數訓練，利用記憶模塊更新規(guī)則更新對偶空間中的正常和異常記憶向量；
(6)聯合對偶記憶模塊中的稀疏響應和未來幀的預測誤差，計算異常得分并判斷是否異常。
2.根據權利要求1所述的基于對偶記憶模塊的視頻異常檢測方法，其特征在于，步驟(1)中，卷積神經網絡使用4個卷積模塊對連續(xù)多幀It-T,…,It-2,It-1進行特征提取，其中最后一個卷積模塊包含兩個分支，分別進行正常問詢特征QN和異常問詢特征QA的提取，公式表述為:
[QN,QA]＝CNN(It-T,…,It-2,It-1)
得到的問詢特征QN和QA是C×H×W維的張量，模型進一步按照空間維度分別將兩個張量拆解為K個C維單位問詢向量，K＝H×W。
3.根據權利要求1所述的基于對偶記憶模塊的視頻異常檢測方法，其特征在于，步驟(2)的具體過程為：
(2-1)計算每個正常單位問詢向量和正常單位記憶向量的距離矩陣WN；
(2-2)將距離矩陣WN沿水平方向計算softmax，得到每個正常單位問詢向量對應于正常單位記憶向量的權重
(2-3)利用權重和正常單位記憶向量計算得到新正常特征，并將計算得到的新正常特征和原來的正常單位問詢向量串聯得到新正常特征向量
(2-4)將K個新正常特征向量拼接為正常特征張量作為正常特征空間的新特征；
(2-5)用上述步驟(2-1)～(2-4)同樣的方法，將K個新異常特征向量拼接，從而獲得異常特征張量作為異常特征空間的新特征。
4.根據權利要求3所述的基于對偶記憶模塊的視頻異常檢測方法，其特征在于，步驟(3)中，模型將新獲得的正常特征張量和異常特征張量分別輸入到兩個判別器中，訓練并增加特征的判別性；模型使用單層3×3卷積和全局平均池化作為判別器網絡，并使用三元組損失函數進行特征訓練：
其中，分別是利用判別器得到的正常特征錨點、正常特征正采樣和異常特征負采樣，β是邊緣距離參數。
5.根據權利要求4所述的基于對偶記憶模塊的視頻異常檢測方法，其特征在于，步驟(4)中，模型將正常特征張量和異常特征張量串連作為生成器的輸入利用生成器預測出未來幀并和它的地標It進行比較并計算重構損失：
其中，生成器訓練時使用正常樣本。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浙江大學，未經浙江大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011561521.6/1.html，轉載請聲明來源鉆瓜專利網。
