[發(fā)明專利]一種基于雙流時空自編碼器的視頻異常事件檢測方法

在審

• 申請?zhí)枺?/td>: 202211550477.8
• 申請日: 2022-12-05
• 公開（公告）號: CN115830541A
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計）人: 郭標(biāo);劉明睿;何倩;蔣明
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于：所述基于雙流時空自編碼器的視頻異常事件檢測方法利用空間和時間信息，空間流將檢測到的物體作為輸入以重構(gòu)正常事件的外觀模型，而時間流將光流圖作為輸入以重構(gòu)正常事件的時間模型，雙流能充分利用外觀和運(yùn)動信息。

2.如權(quán)利要求1所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于：所述基于雙流時空自編碼器的視頻異常事件檢測方法具體包括：

步驟一，視頻預(yù)處理；

步驟二，設(shè)定雙流時空自編碼器；

步驟三，構(gòu)建偽異常數(shù)據(jù)集并進(jìn)行對抗訓(xùn)練；

步驟四，使用重構(gòu)誤差訓(xùn)練二元分類器；

步驟五，異常事件檢測。

3.如權(quán)利要求2所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于，所述步驟一首先將視頻處理成幀，使用yolov3目標(biāo)檢測方法和selflow光流估計方法，對UCSD Ped1、UCSD Ped2和Avenue數(shù)據(jù)集進(jìn)行處理，提取單個視頻幀中的前景對象和生成連續(xù)視頻幀的光流圖；

所述步驟二中所述雙流時空自編碼器由空間自編碼器和時序自編碼器組成，遵循U-Net架構(gòu)，空間流學(xué)習(xí)目標(biāo)對象的外觀特征，而時序流從光流圖中學(xué)習(xí)更高級的運(yùn)動特征；每個編碼器e_*由三個塊組成，其中包含卷積層和最大池層；對于空間流，重構(gòu)輸入對象x的損失函數(shù)如下所示：

其中，是標(biāo)準(zhǔn)分支的輸出，輸入大小為h＝w＝64。

對于時間流，重構(gòu)輸入光流x′的損失函數(shù)如下所示：

其中，是標(biāo)準(zhǔn)分支的輸出，輸入大小為h＝w＝64,c＝2。

4.如權(quán)利要求2所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于，所述步驟三中首先設(shè)計并構(gòu)建了一個偽異常數(shù)據(jù)集，該數(shù)據(jù)集可以應(yīng)用于不同的數(shù)據(jù)集，不包含可能發(fā)生在真實(shí)異常事件檢測場景中的對象，例如人、汽車、滑冰者等。從圖像數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集中隨機(jī)選擇兩個圖像I_i和I_j，生成偽異常圖像，如下所示：

其中，i≠j。

5.如權(quán)利要求4所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于，所述偽異常樣本被輸入對抗分支，自編碼器必須處理這些超出正常事件的情況，使其具備可以處理超出正常事件以外情況的能力。

6.如權(quán)利要求4所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于，所述偽異常樣本被輸入對抗分支，自編碼器必須處理這些超出正常事件的情況，使其具備可以處理超出正常事件以外情況的能力。

7.如權(quán)利要求2所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于，所述步驟四中利用二元分類器，使用經(jīng)典監(jiān)督策略來區(qū)分正常和偽異常示例具體包括：

在將空間流和時序流分別訓(xùn)練為最優(yōu)后，提出了兩個二元分類器，使用類似的經(jīng)典監(jiān)督策略來區(qū)分正常和偽異常示例，二元分類器的輸入是正常重構(gòu)分支和對抗性重構(gòu)分支的輸入和輸出之間的重構(gòu)誤差；

其中，x是空間流或時序流的輸入，

其中，是大小為N的輸入批次為i^th的超立方體，

是空間流或時序流的正常和對抗性重構(gòu)的預(yù)估，

8.如權(quán)利要求1所述的基于雙流時空自編碼器的視頻異常事件檢測方法，其特征在于，所述步驟五中進(jìn)行異常檢測，具體包括：

(1)使用雙流網(wǎng)絡(luò)的正常分支，沒有用對抗分支，來獲得外觀和運(yùn)動的表示；

(2)計算空間和時間重構(gòu)誤差并將其輸入給分類器；

(3)兩個二元分類器輸出每個對象的正常得分；

(4)通過重新組合檢測到的異常分?jǐn)?shù)，可以獲得像素級異常檢測。