[發明專利]基于關鍵區域特征學習的視頻中異常行為檢測方法

有效

• 申請號: 201711013558.3
• 申請日: 2017-10-25
• 公開（公告）號: CN107766823B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 楊文飛;劉斌;俞能海
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種基于關鍵區域特征學習的視頻中異常行為檢測方法，其特征在于，包括：

將視頻幀序列劃分為若干個的時空視頻塊，并通過關鍵區域檢測算法檢測出可能出現異常的時空視頻塊；

利用訓練好的基于自編碼器的特征提取模塊來提取每一可能出現異常的時空視頻塊的特征；

利用基于馬氏距離的分類器在提取到特征的基礎上判斷相應時空視頻塊是否是異常；

其中，所述通過關鍵區域檢測算法檢測出可能出現異常的時空視頻塊包括：

采用灰度統計直方圖作為統計特征，利用cosine距離來度量所考察時空視頻塊和它周圍時空視頻塊之間的相似度，計算公式如下：

其中，p₁表示所考察時空視頻塊的統計特征，p₂表示所考察時空視頻塊周圍所有時空視頻塊的統計特征；

在灰度統計直方圖的基礎上采用熵來度量所考察時空視頻塊的分布多樣性，公式如下：

其中，k為所考察時空視頻塊的灰度區間像素數目，p(i)表示第i個灰度區間像素點占總像素點的比例；

利用下式計算每一個時空視頻塊的得分，將得分高于預設值的時空視頻塊作為可能出現異常的時空視頻塊：

Score＝E-λ·SIM；

其中，λ為平衡系數。

2.根據權利要求1所述的一種基于關鍵區域特征學習的視頻中異常行為檢測方法，其特征在于，所述利用訓練好的基于自編碼器的特征提取模塊來提取每一可能出現異常的時空視頻塊的特征包括：

將每一可能出現異常的時空視頻塊的特征輸入至訓練好的基于自編碼器的特征提取模塊，獲得的中間隱層的輸出即為提取到的特征。

3.根據權利要求1所述的一種基于關鍵區域特征學習的視頻中異常行為檢測方法，其特征在于，所述利用基于馬氏距離的分類器在提取到特征的基礎上判斷相應時空視頻塊是否是異常包括：

計算特征與訓練樣本的馬氏距離，進而判斷相應時空視頻塊是否是異常，表示為：

f(x)＝(x-μ)^T∑^-1(x-μ)；

其中，μ為訓練樣本特征均值，∑為相應的協方差矩陣，x為任一可能出現異常的時空視頻塊的特征值，threshold為閾值。

4.根據權利要求3所述的一種基于關鍵區域特征學習的視頻中異常行為檢測方法，其特征在于，該方法還包括：如果檢測結果為正常，則將相應的時空視頻塊作為正常樣本，通過如下方式更新分類器：

其中，x_n表示第n次更新時所采用的正常樣本對應的特征值，μ_n、μ_n-1分別為第n次、第n-1次更新獲得的訓練樣本特征均值，∑_n、∑_n-1分別為第n次、第n-1次更新獲得的協方差矩陣。

5.根據權利要求3所述的一種基于關鍵區域特征學習的視頻中異常行為檢測方法，其特征在于，該方法還包括：基于自編碼器的特征提取模塊以及基于馬氏距離的分類器的訓練過程，訓練過程如下：

選定場景后，獲取沒有異常目標的視頻幀序列，并劃分為若干時空視頻塊，再采用關鍵區域檢測算法選出多個時空視頻塊，通過下述優化公式訓練基于自編碼器的特征提取模塊，使得參與訓練的時空視頻塊的重構誤差最?。?/p>

其中，α為正則化系數，β為稀疏懲罰系數，W₁，b₁表示編碼器的權重和偏置項，W₂，b₂表示解碼器權重和偏置項，W_ji表示中間層第j個神經元和輸入層第i個神經元之間連接的權重，s為中間層的神經元的數目，w、h、t分別對應輸入視頻塊的寬、高、時間上的幀數，m為訓練時每次用到的時空視頻塊數目，x_i'表示第i個時空視頻塊，KL表示KL距離，δ為激活函數，ρ為設置的激活率，ρ_j為第j個神經元在參與訓練的時空視頻塊上的平均激活率；

之后，在關鍵區域檢測算法選出的時空視頻塊的基礎上，計算基于馬氏距離的分類器的參數。