[發明專利]一種基于雙流卷積神經網絡的危險行為自動識別方法

在審

• 申請號: 201910552632.1
• 申請日: 2019-06-25
• 公開（公告）號: CN110084228A
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 鄧楊敏;李亨;呂繼團
• 申請（專利權）人: 江蘇德劭信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京知識律師事務所 32207
• 代理人: 高嬌陽

本發明公開了一種基于雙流卷積神經網絡的危險行為自動識別方法，本發明通過對視頻中的人物進行部分人工標注來減小視頻背景對人物行為識別的影響；使用LeNet?5網絡學習視頻中的時間特征和空間特征，將融合后的時空特征送入3D卷積神經網絡中完成對視頻中人物動作的識別。本發明針對視頻中存在的大量無關的背景信息，本發明對部分視頻幀中的人物進行人工標注，通過增加輸入的監督信息來降低噪聲的干擾，有效解決了視頻無關背景信息對人物動作識別的干擾。本發明基于雙流卷積神經網絡和3D卷積神經網絡的危險動作自動識別方法，構建人物危險動作自動識別網絡，使用人物危險動作視頻數據訓練網絡，構建人物危險動作自動識別模型。

技術領域

本發明涉及一種基于雙流卷積神經網絡的人體姿態估計和行為識別，更具體的是涉及一種針對監控視頻數據的危險行為自動識別方法。

背景技術

對于監獄、銀行等一些特定的場所，需要避免暴力沖突、非法闖入等不穩定事件的發生，因此保持全天候的監管是十分必要的。單純的通過安保人員巡查上述特定場所，需要耗費大量的時間成本和人力成本，效率相對低下。隨著監控視頻的大量普及，上述特定場所開始使用監控攝像頭與安保人員相結合的方式，即安保人員借助監控攝像頭實現在線巡查，對出現異常的區域再進行人為巡查和處理。這種方式要求安保人員長時間保持注意力高度集中，短時間的走神或者疏忽就可能導致非法闖入等危險行為。因此，急需一種能夠輔助安保人員的基于監控視頻數據的人體行為識別方法，對監控視頻流中的人物姿態和動作自動識別，對可能出現的危險動作及時報警，在減輕了安保人員工作強度的同時也能提高上述特定場所的穩定程度。

隨著科技的不斷進步，基于深度學習算法的視頻數據智能分析正在快速發展，在人物臉部識別、人物位置預測等領域已經被大量應用。視頻人物動作識別其本質是在時間上連續變化的序列圖片的分類問題，所以圖片識別的深度學習算法在視頻人物動作識別研究中被大量應用。卷積神經網絡(Convolutional Neural Networks, CNNs) 是當前圖像識別領域主流的深度學習網絡，但是在基于視頻的人物動作識別領域的應用受到抑制，主要的原因一方面是相較于圖像數據集，視頻數據集一般規模較小且質量較低（包含大量的無關噪聲）；另一方面，傳統的卷積神經網絡不能充分的學習時間特征，不能有效的提取連續幀之間的關聯。為了充分的利用視頻的時間特征，目前最新的研究是基于時空雙流網絡的人物動作識別。該網絡包括兩個并行的卷積神經網絡結構，分別以等間隔抽樣視頻幀和視頻的一系列光流圖片作為輸入，結合融合視頻中人物動作的空間以及時間特征用于辨別人物動作類別。

發明內容

針對人物危險動作視頻數據中包含大量與人物無關信息的特點，本發明通過對視頻中的人物進行部分人工標注來減小視頻背景對人物行為識別的影響；使用LeNet-5網絡學習視頻中的時間特征和空間特征，將融合后的時空特征送入3D卷積神經網絡中完成對視頻中人物動作的識別，提出了一種基于雙流卷積網絡的人物危險動作自動識別方法。

為了解決以上問題，本發明采用了如下技術方案：一種基于雙流卷積神經網絡的危險行為自動識別方法，分別構建時間、空間特征學習網絡學習人物動作的時空特征；針對現有基于空間、時間特征分別預測人物行為并加權預測結果計算最終動作類別割裂了人物動作在時間和空間上存在的關系，并沒有充分利用學習的時間和空間特征的問題，使用簡單線性加權首先融合人物動作的時空特征后再進行人物動作預測，提高了人物動作的準確率。包括以下步驟：

Step1 原始數據準備

針對常見的人物危險行為，選擇自殺、偷竊和打架等三種相對典型的人物危險動作，通過來自監獄、銀行、超市以及部分來自公安系統的包含上述危險動作的視頻數據；

Step2 數據預處理

（1）數據增強：通過對視頻進行水平翻轉、對比度、亮度以及加噪處理，將原來的視頻數據擴大4倍；

（2）將大小、幀率各不相同的視頻數據統一到相同大小和25幀率；