[發明專利]基于深度視頻事件補全的視頻數據異常識別方法和裝置

有效

• 申請號: 202010792801.1
• 申請日: 2020-08-10
• 公開（公告）號: CN111652201B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 王思齊;余廣;蔡志平;祝恩
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 董惠文

1.一種基于深度視頻事件補全的視頻數據異常識別方法，其特征在于，所述方法包括：

獲取當前視頻幀中前景目標所在的前景目標區域，從包括當前視頻幀的預設長度的視頻幀序列中，獲取每個視頻幀在所述前景目標區域的圖像數據，根據得到的圖像數據序列生成視頻事件數據；

從所述視頻事件數據的所述圖像數據序列中抽除預設數量的圖像數據，得到對應的不完整視頻事件數據，將所述不完整視頻事件數據輸入預先訓練的深度視頻事件補全模型，得到對應的外觀補全圖像數據和運動信息補全數據；所述深度視頻事件補全模型包括基于深度神經網絡的外觀補全網絡和運動補全網絡；

根據被抽除的所述圖像數據和所述外觀補全圖像數據之間的誤差，以及根據被抽除的所述圖像數據的運動信息數據和所述運動信息補全數據之間的誤差，識別所述視頻事件數據中的異常。

2.根據權利要求1所述的方法，其特征在于，獲得所述預先訓練的深度視頻事件補全模型的方式包括：

將預設的視頻數據中的一個視頻幀標記為基準視頻幀，獲取所述基準視頻幀中前景目標所在的前景目標區域，從包括所述基準視頻幀的預設長度的視頻幀序列中，獲取每個視頻幀在所述前景目標區域的圖像數據，根據得到的圖像數據序列生成視頻事件數據，作為訓練樣本集；

從所述視頻事件數據的所述圖像數據序列中抽除預設數量的圖像數據，得到對應的不完整視頻事件數據，將所述不完整視頻事件數據輸入預先設置的深度視頻事件補全模型；

根據被抽除的所述圖像數據和所述外觀補全圖像數據之間的誤差，以及根據被抽除的所述圖像數據的運動信息數據和所述運動信息補全數據之間的誤差定義誤差函數，根據所述誤差函數訓練所述深度視頻事件補全模型，得到訓練好的深度視頻事件補全模型。

3.根據權利要求1所述的方法，其特征在于，所述獲取當前視頻幀中前景目標所在的前景目標區域，從包括當前視頻幀的預設長度的視頻幀序列中，獲取每個視頻幀在所述前景目標區域的圖像數據，根據得到的圖像數據序列生成視頻事件數據之前還包括：

獲取當前視頻幀的外觀線索信息，根據所述外觀線索信息和預設的一般前景目標區域過濾規則，得到當前視頻幀的一般前景目標區域；

獲取當前視頻幀的運動線索信息，根據所述運動線索信息和預設的運動前景目標區域過濾規則，得到當前視頻幀的運動前景目標區域；

根據所述一般前景目標區域和所述運動前景目標區域，得到當前視頻幀中前景目標所在的前景目標區域。

4.根據權利要求3所述的方法，其特征在于，所述獲取當前視頻幀的外觀線索信息，根據所述外觀線索信息和預設的一般前景目標區域過濾規則，得到當前視頻幀的一般前景目標區域的步驟包括：

使用預先訓練的目標檢測器基于外觀線索獲取當前視頻幀中的目標區域；

根據預設的一般前景目標區域過濾規則過濾當前視頻幀中的所述目標區域，得到當前視頻幀中基于外觀線索的一般前景目標區域；所述一般前景目標區域過濾規則包括：根據目標區域面積閾值和目標區域交疊閾值過濾當前視頻幀中的所述目標區域。

5.根據權利要求3所述的方法，其特征在于，所述獲取當前視頻幀的運動線索信息，根據所述運動線索信息和預設的運動前景目標區域過濾規則，得到當前視頻幀的運動前景目標區域的步驟包括：

獲取當前視頻幀的光流數據，根據預設的門限值對所述光流數據進行二值化處理，得到當前視頻幀中包含顯著前景運動的運動前景區域；

去除與所述一般前景目標區域重合的所述運動前景區域，對剩余的所述運動前景區域進行輪廓檢測，根據預設的運動前景目標區域過濾規則過濾輪廓檢測的結果，得到當前視頻幀中基于運動線索的運動前景目標區域；所述運動前景目標區域過濾規則包括：根據運動前景區域面積閾值和運動前景區域縱橫比閾值過濾所述輪廓檢測的結果。