[發明專利]一種基于外觀和動作特征雙預測的異常行為檢測方法

有效

• 申請號: 202011263894.5
• 申請日: 2020-11-12
• 公開（公告）號: CN113762007B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 陳洪剛;李自強;王正勇;何小海;劉強;吳曉紅;熊書琪
• 申請（專利權）人: 四川大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于外觀和動作特征雙預測的異常行為檢測方法，其特征在于，包括以下步驟：

(1)順序讀取視頻幀，計算相鄰圖像的幀間差，獲取固定長度的視頻幀序列和對應的幀差圖序列；

(2)利用引入記憶增強模塊的雙流網絡模型，分別通過外觀子網絡和動作子網絡提取屬于正常行為的特有外觀和動作特征，并預測視頻幀圖和幀差圖；

引入了記憶增強模塊的雙流網絡結構包括外觀子網絡和動作子網絡共兩路卷積神經網絡，所述外觀子網絡和動作子網絡由相同結構的自編碼器網絡組成；自編碼器網絡由編碼器、解碼器以及記憶增強模塊組成，記憶增強模塊級聯在編碼器與解碼器之間；

記憶增強模塊包含存儲M個用于將正常樣本特征向量存儲在本地的內存項，記憶增強模塊分為讀取和更新兩個操作：

所述讀取操作同時存在網絡的訓練和測試階段；讀取操作步驟為：對于編碼器輸出特征z，計算z與內存項中存儲特征p的余弦相似度，計算公式如(1)所示：

式中k,m分別為特征z和p的索引，對s(z^k,p^m)應用softmax函數得到讀取權重ω^k,m，計算公式如(2)：

對內存項特征p應用所計算的對應權重ω^k,m，得到記憶增強后的特征計算方式為：

所述更新操作只存在于訓練階段，首先使用公式(1)計算余弦相似度，然后計算更新權重v^m,k，其計算方法如公式(4)：

更新后地內存的計算方法如公式(5)：

更新后地內存項將被保存在本地，在訓練和測試的讀取操作中被使用；

(3)將預測的視頻幀和幀差圖相加融合，得到最終的預測視頻幀；

(4)通過衡量記憶增強模塊所提取動作和外觀特征以及最終預測圖像質量獲取該幀異常得分。

2.根據權利要求1所述的一種基于外觀和動作特征雙預測的異常行為檢測方法，其特征在于，所述步驟(1)中幀差圖計算方法為：

對每個視頻段，首先，提取該視頻段的背景圖像；其次，對于固定長度為t的視頻幀序列，先減去背景圖像，獲取剔除背景的前景目標圖像；最后，前后相鄰幀相減得到長度為t-1的幀差圖序列。

3.根據權利要求1所述的一種基于外觀和動作特征雙預測的異常行為檢測方法，其特征在于，所述編碼器和解碼器的網絡結構；

所述編碼器和解碼器分別含有三個下采樣層和三個上采樣層；所述下采樣層采用殘差結構，兩個支路分別采用最大池化和卷積來降低分辨率并增加通道數；所述上采樣層兩個支路采用不同大小的卷積核的反卷積來升高分辨率并減小通道數；編碼器和解碼器在相同分辨率的特征層使用跳連接。

4.根據權利要求1所述的一種基于外觀和動作特征雙預測的異常行為檢測方法，其特征在于：

所述步驟(3)中獲取最終的預測視頻幀的方法：

連續t-1張視頻幀圖像輸入外觀子網絡預測得到第t幀同時連續t-1張幀差圖輸入動作子網絡預測得到第t張幀差圖最后將和相加融合得到第t+1幀

所述步驟(4)中，通過以下方法對異常分數進行計算：

(4.1)計算第t+1幀與真實幀I_t+1的峰值信噪比(PSNR)；

(4.2)分別計算外觀子網絡和動作子網絡中編碼器每一個輸出特征z^k與記憶增強模塊的內存項特征p^τ的L2距離作為兩個子網絡的特征相似度分數，計算方法如公式(6)所示：

其中τ為與z^k相似度最大的內存項特征的索引；

(4.3)將步驟(4.1)和步驟(4.2)中三個分數歸一化到【0,1】，然后相加融合得到最終的異常分數，分數越高，視頻幀異常的可能性越大，分數計算方法如(7)所示：

式中D'_a(z_a,p_a)和D'_m(z_m,p_m)分別表示歸一化后的PSNR、外觀特征相似度分數和動作特征相似度分數。