[發(fā)明專利]基于雙向回顧生成對(duì)抗網(wǎng)絡(luò)的視頻異常事件檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010878108.6
• 申請(qǐng)日: 2020-08-27
• 公開（公告）號(hào): CN112052763A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 劉靜;楊智偉
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

1.一種基于雙向回顧生成對(duì)抗網(wǎng)絡(luò)的視頻異常事件檢測(cè)方法，其特征在于，構(gòu)建了一個(gè)由生成器、幀判別器和序列判別器組成的生成對(duì)抗網(wǎng)絡(luò)，在訓(xùn)練時(shí)，采用前向和后向預(yù)測(cè)并聯(lián)合回顧性預(yù)測(cè)的雙向回顧的方式，通過生成器、幀判別器和序列判別器的交替更新對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到一個(gè)能準(zhǔn)確預(yù)測(cè)視頻中正常事件將來幀圖像而無法準(zhǔn)確預(yù)測(cè)視頻中異常事件將來幀圖像的生成器；該方法具體步驟包括如下：

(1)構(gòu)建一個(gè)生成對(duì)抗網(wǎng)絡(luò)：

(1a)搭建一個(gè)15層的生成器網(wǎng)絡(luò)，其結(jié)構(gòu)依次為：輸入層→第一卷積層→第一歸一化層→第一激活函數(shù)層→第二卷積層→第二歸一化層→第二激活函數(shù)層→第一下采樣層組合→第二下采樣層組合→第三下采樣層組合→第一上采樣層組合→第二上采樣層組合→第三上采樣層組合→第三卷積層→輸出層；所述每個(gè)下采樣層組合的結(jié)構(gòu)依次為：第一最大池化層→第一卷積層→第一歸一化層→第一激活函數(shù)層→第二卷積層→第二歸一化層→第二激活函數(shù)層；所述每個(gè)上采樣層組合的結(jié)構(gòu)依次為：第一反卷積層→第一卷積層→第一歸一化層→第一激活函數(shù)層→第二卷積層→第二歸一化層→第二激活函數(shù)層；第一、二、三下采樣層組合輸出的特征圖分別與第一、二、三上采樣層組合輸出的特征圖進(jìn)行拼接融合；

設(shè)置生成器網(wǎng)絡(luò)中每層的參數(shù)為：將第一、二、三卷積層中的卷積核大小均設(shè)置為3×3，卷積步長(zhǎng)均設(shè)置為2，卷積核的個(gè)數(shù)均為64；第一、二激活函數(shù)層均采用ReLU函數(shù)實(shí)現(xiàn)；

所述每個(gè)下采樣層組合中的最大池化層的池化卷積核大小均設(shè)置為2×2，池化步長(zhǎng)均設(shè)置2；卷積層的卷積核大小均設(shè)置為3×3，卷積步長(zhǎng)均設(shè)置為2，卷積核的個(gè)數(shù)分別為128，256，512；激活函數(shù)層均采用ReLU函數(shù)實(shí)現(xiàn)；

所述每個(gè)上采樣層組合中的反卷積層的卷積核大小均設(shè)置為2×2，卷積步長(zhǎng)均設(shè)置為2；卷積層的卷積核大小均設(shè)置為3×3，卷積步長(zhǎng)均設(shè)置為2，卷積核的個(gè)數(shù)分別為256，128，64；激活函數(shù)層均采用ReLU函數(shù)實(shí)現(xiàn)；

(1b)搭建一個(gè)14層的幀判別器網(wǎng)絡(luò)，其結(jié)構(gòu)依次為：輸入層→第一卷積層→第一激活函數(shù)層→第二卷積層→第一歸一化層→第二激活函數(shù)層→第三卷積層→第二歸一化層→第三激活函數(shù)層→第四卷積層→第四激活函數(shù)層→第五卷積層→第五激活函數(shù)層→輸出層；

設(shè)置幀判別器網(wǎng)絡(luò)中每層的參數(shù)為：將第一、二、三、四、五卷積層的卷積核大小均設(shè)置為3×3，卷積步長(zhǎng)均設(shè)置為2，卷積核的個(gè)數(shù)依次設(shè)置為128、256、512、512、1；第一、二歸一化層均采用BatchNorm2d函數(shù)實(shí)現(xiàn)；第一、二、三、四激活函數(shù)層均采用LeakyReLU函數(shù)實(shí)現(xiàn)，其斜率均設(shè)置為0.2；第五激活函數(shù)層采用Sigmoid函數(shù)實(shí)現(xiàn)；

(1c)搭建一個(gè)16層的序列判別器網(wǎng)絡(luò)，其結(jié)構(gòu)依次為：輸入層→第一3D卷積層→第一3D最大池化層→第一歸一化層→第一激活函數(shù)層→第二3D卷積層→第二3D最大池化層→第二歸一化層→第二激活函數(shù)層→第三3D卷積層→第三3D最大池化層→第三歸一化層→第三激活函數(shù)層→第四3D卷積層→第四激活函數(shù)層→輸出層；

設(shè)置序列判別器網(wǎng)絡(luò)中每層的參數(shù)為：將第一、二、三、四3D卷積層的卷積核大小均設(shè)置為2×3×3，卷積步長(zhǎng)均設(shè)置為1×2×2，卷積核的個(gè)數(shù)依次設(shè)置為128、256、512、1；第一、二、三3D最大池化層的池化卷積核大小均設(shè)置為2×3×3，池化步長(zhǎng)均設(shè)置為1×2×2；第一、二、三歸一化層均采用BatchNorm3d函數(shù)實(shí)現(xiàn)；第一、二、三激活函數(shù)層均采用LeakyReLU函數(shù)實(shí)現(xiàn)，其斜率均設(shè)置為0.2；第四激活函數(shù)層采用Sigmoid函數(shù)實(shí)現(xiàn)；

(1d)將生成器網(wǎng)絡(luò)與幀判別器網(wǎng)絡(luò)和序列判別器網(wǎng)絡(luò)分別級(jí)聯(lián)組成生成對(duì)抗網(wǎng)絡(luò)；

(2)初始化生成對(duì)抗網(wǎng)絡(luò)：

將生成對(duì)抗網(wǎng)絡(luò)中所有的卷積層和歸一化層的權(quán)重初始化為滿足正態(tài)分布的隨機(jī)值；其中，所述正態(tài)分布的均值為0，標(biāo)準(zhǔn)差為0.02；

(3)生成訓(xùn)練數(shù)據(jù)集：

選取時(shí)長(zhǎng)為T分鐘的不包含任何異常事件的連續(xù)監(jiān)控視頻，將其依次切分成長(zhǎng)度為5，大小為W×H的多組視頻幀序列組成訓(xùn)練數(shù)據(jù)集；其中，T＞10，W、H分別表示每幀圖像的寬和高，64≤W≤256，64≤H≤256，W和H的單位為像素；

(4)采用雙向回顧方式，對(duì)生成器網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

(4a)將每組視頻幀序列前4幀按正向時(shí)間順序排列成正向視頻幀序列，再將每組視頻幀序列后4幀按反向時(shí)間順序排列成反向視頻幀序列；

(4b)將正向視頻幀序列輸入到生成器網(wǎng)絡(luò)中進(jìn)行前向預(yù)測(cè)，輸出前向預(yù)測(cè)幀圖像；將反向視頻幀序列輸入到生成器網(wǎng)絡(luò)中進(jìn)行后向預(yù)測(cè)，輸出后向預(yù)測(cè)幀圖像；

(4c)將前向預(yù)測(cè)幀圖像加入到之前用于前向預(yù)測(cè)的視頻幀序列中，再將擴(kuò)展后的視頻幀序列的后4幀，按反向時(shí)間順序進(jìn)行排列后輸入到生成器網(wǎng)絡(luò)中進(jìn)行后向回顧性預(yù)測(cè)，輸出后向回顧性預(yù)測(cè)幀圖像；將后向預(yù)測(cè)幀圖像加入到之前用于后向預(yù)測(cè)的視頻幀序列中，再將擴(kuò)展后的視頻幀序列的前4幀，按正向時(shí)間順序排列后輸入到生成器網(wǎng)絡(luò)中進(jìn)行前向回顧性預(yù)測(cè)，輸出前向回顧性預(yù)測(cè)幀圖像；

(4d)根據(jù)雙向預(yù)測(cè)和回顧性預(yù)測(cè)產(chǎn)生的多個(gè)預(yù)測(cè)幀圖像與真實(shí)幀圖像之間的誤差構(gòu)建的生成器網(wǎng)絡(luò)損失函數(shù)，計(jì)算生成器網(wǎng)絡(luò)的損失值；利用梯度下降法將生成器網(wǎng)絡(luò)的損失值反向傳播，計(jì)算生成器網(wǎng)絡(luò)每個(gè)卷積層和反卷積層中的每個(gè)卷積核的所有梯度；根據(jù)生成器網(wǎng)絡(luò)每個(gè)卷積層和反卷積層中的每個(gè)卷積核的所有梯度，使用Adam優(yōu)化器對(duì)生成器網(wǎng)絡(luò)每個(gè)卷積層和反卷積層中的每個(gè)卷積核的所有權(quán)重進(jìn)行迭代更新；所述Adam優(yōu)化器的初始學(xué)習(xí)率為0.0002；

(5)對(duì)幀判別器網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

(5a)將前向預(yù)測(cè)幀圖像與其真實(shí)圖像、后向預(yù)測(cè)幀圖像與其真實(shí)圖像、前向回顧性預(yù)測(cè)幀圖像與其真實(shí)圖像和后向回顧性預(yù)測(cè)幀圖像與其真實(shí)圖像依次輸入到幀判別器網(wǎng)絡(luò)中，幀判別器網(wǎng)絡(luò)輸出對(duì)應(yīng)的真?zhèn)胃怕剩?/p>

(5b)根據(jù)幀判別器網(wǎng)絡(luò)輸出的真?zhèn)胃怕蕵?gòu)建的幀判別器損失函數(shù)，計(jì)算幀判別器網(wǎng)絡(luò)的損失值；利用梯度下降法將幀判別器網(wǎng)絡(luò)的損失值反向傳播，計(jì)算幀判別器網(wǎng)絡(luò)每個(gè)卷積層的每個(gè)卷積核的所有梯度和歸一化層的所有梯度；根據(jù)幀判別器網(wǎng)絡(luò)每個(gè)卷積層的每個(gè)卷積核的所有梯度和歸一化層的所有梯度，使用Adam優(yōu)化器對(duì)幀判別器網(wǎng)絡(luò)每個(gè)卷積層的每個(gè)卷積核的所有權(quán)重和歸一化層的所有權(quán)重進(jìn)行迭代更新；所述Adam優(yōu)化器的初始學(xué)習(xí)率為0.00002；

(6)對(duì)序列判別器網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

(6a)將前向預(yù)測(cè)幀圖像、后向預(yù)測(cè)幀圖像、回顧性預(yù)測(cè)幀圖像和對(duì)應(yīng)的輸入幀圖像組成視頻幀序列與對(duì)應(yīng)的真實(shí)視頻幀序列依次輸入到序列判別器網(wǎng)絡(luò)中，序列判別器網(wǎng)絡(luò)輸出對(duì)應(yīng)的真?zhèn)胃怕剩?/p>

(6b)根據(jù)序列判別器網(wǎng)絡(luò)輸出的真?zhèn)胃怕蕵?gòu)建的序列判別器損失函數(shù)，計(jì)算序列判別器網(wǎng)絡(luò)的損失值；利用梯度下降法將序列判別器網(wǎng)絡(luò)的損失值反向傳播，計(jì)算序列判別器網(wǎng)絡(luò)每個(gè)卷積層的每個(gè)卷積核的所有梯度和歸一化層的所有梯度；根據(jù)序列判別器網(wǎng)絡(luò)每個(gè)卷積層的每個(gè)卷積核的所有梯度和歸一化層的所有梯度，使用Adam優(yōu)化器對(duì)序列判別器網(wǎng)絡(luò)每個(gè)卷積層的每個(gè)卷積核的所有權(quán)重和歸一化層的所有權(quán)重進(jìn)行迭代更新；所述Adam優(yōu)化器的初始學(xué)習(xí)率為0.00002；

(7)判斷生成器網(wǎng)絡(luò)損失函數(shù)是否收斂，若是，則執(zhí)行步驟(8)，否則，執(zhí)行步驟(4)；

(8)完成雙向回顧生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練，得到訓(xùn)練好的生成器網(wǎng)絡(luò)權(quán)重，保存訓(xùn)練好的雙向回顧生成對(duì)抗網(wǎng)絡(luò)中生成器網(wǎng)絡(luò)每個(gè)卷積層和反卷積層的每個(gè)卷積核的所有權(quán)重；

(9)對(duì)視頻進(jìn)行檢測(cè)：

將待檢測(cè)的視頻依次切分成長(zhǎng)度為5，大小為M×N的視頻幀序列，將視頻幀序列的前4幀輸入到訓(xùn)練好的生成器網(wǎng)絡(luò)中，輸出預(yù)測(cè)的將來幀圖像，根據(jù)預(yù)測(cè)的將來幀圖像與視頻幀序列中第5幀真實(shí)圖像之間的誤差來計(jì)算異常分?jǐn)?shù)S，若該異常分?jǐn)?shù)S超過設(shè)定閾值，則判斷該將來幀圖像中發(fā)生異常，否則，判斷該將來幀圖像中未發(fā)生異常；其中，M，N的取值與W，H的取值相等，異常分?jǐn)?shù)S的取值范圍為0≤S≤1。