[發明專利]行為預測網絡訓練方法、系統及行為異常檢測方法、系統

在審

• 申請號: 202210285382.1
• 申請日: 2022-03-22
• 公開（公告）號: CN114581738A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 李洪均;孫曉虎;李超波;陳俊杰
• 申請（專利權）人: 南通大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/20;G06K9/62;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 韓雪梅

本發明公開了一種行為預測網絡訓練方法、系統及行為異常檢測方法、系統，涉及視頻異常檢測技術領域。訓練方法包括：基于卷積網絡和U?Net網絡構建異構孿生網絡；獲取訓練視頻，所述訓練視頻包括若干時間連續的包含正常行為的RGB視頻幀和光流幀；分別通過RGB視頻幀和光流幀對卷積網絡和U?Net網絡進行訓練；確定表觀損失函數和運動損失函數；根據表觀損失函數和所述運動損失函數，確定多約束損失函數；根據多約束損失函數調整卷積網絡和U?Net網絡中的權重，以對異構孿生網絡進行訓練，得到訓練好的異構孿生網絡。通過本發明能夠有效對復雜場景下快速運動、外觀相似的運動物體進行行為預測，進而能夠有效檢測出異常行為。

技術領域

本發明涉及視頻異常檢測技術領域，特別是涉及一種行為預測網絡訓練方法、系統及行為異常檢測方法、系統。

背景技術

隨著監控設備的普及以及人們對社會公共安全的廣泛關注，視頻異常檢測逐漸成為計算機視覺領域的研究熱點。視頻異常檢測旨在利用計算機視覺技術并結合機器學習的方法自動地檢測和定位監控視頻中偏離預期行為的事件。然而，視頻異常檢測是一項非常具有挑戰性的任務，主要表現在以下幾個方面：(1)稀缺性：現實世界中的正常樣本數量遠大于異常樣本，且異常樣本的獲取極其昂貴。(2)歧義性：正常行為和異常行為之間沒有明顯的界限。例如，滑板者和行人雖然在外觀上很相似，但滑板者被視為禁止出現在人行道上的異常物體。

現有的大多數方法假設場景中的所有區域(包括靜止的背景和移動的前景物體)有相同的貢獻。不幸的是，這種假設可能不是理想的，因為從經驗上可以發現，異常檢測的主要元素是移動的物體/人，而不是靜止的背景。現有的大多數工作采用“孿生網絡”分別從不同的信息中提取特征。對于非復雜場景下的運動物體，該網絡能夠基本平衡實時性與準確性。但對于一些復雜場景下快速運動、外觀相似的運動物體，“孿生網絡”的性能會下降。因此，對于復雜場景下快速運動、外觀相似的運動物體的特征提取并不能滿足需求。

發明內容

本發明的目的是提供一種行為預測網絡訓練方法、系統及行為異常檢測方法、系統。通過本發明能夠有效對復雜場景下快速運動、外觀相似的運動物體進行行為預測，進而能夠有效檢測出異常行為。

為實現上述目的，本發明提供了如下方案：

一種行為預測網絡訓練方法，該訓練方法包括以下步驟：

基于卷積網絡和U-Net網絡構建異構孿生網絡；

獲取訓練視頻，所述訓練視頻包括若干時間連續的包含正常行為的RGB視頻幀和光流幀；

將任意時間連續的RGB視頻幀輸入所述異構孿生網絡的卷積網絡，將任意時間連續的光流幀輸入所述異構孿生網絡的U-Net網絡；

根據所述異構孿生網絡的卷積網絡的輸出以及所述任意時間連續的RGB視頻幀下一時刻的RGB視頻幀，確定表觀損失函數；

根據所述異構孿生網絡的U-Net網絡的輸出以及所述任意時間連續的光流幀下一時刻的光流幀，確定運動損失函數；

根據所述表觀損失函數和所述運動損失函數，確定多約束損失函數；

根據所述多約束損失函數調整所述卷積網絡和所述U-Net網絡中的權重，以對所述異構孿生網絡進行訓練，得到訓練好的異構孿生網絡。

本發明還提供了一種行為異常檢測方法，該行為異常檢測方法包括：

獲取目標視頻真實幀，所述目標視頻真實幀包括若干時間連續的包含正常行為的RGB真實視頻幀和光流真實幀；

將所述目標視頻真實幀輸入異構孿生網絡，得到目標視頻預測幀，所述異構孿生網絡為根據上述所述的行為預測網絡訓練方法訓練好的網絡；

計算所述目標視頻預測幀與所述目標視頻真實幀的峰值信噪比；