[發明專利]基于特征期望子圖校正分類的異常視頻清洗方法

有效

• 申請號: 201911236747.6
• 申請日: 2019-12-05
• 公開（公告）號: CN111008596B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 葉鷗;鄧軍;董立紅;于振華
• 申請（專利權）人: 西安科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 西安眾星藍圖知識產權代理有限公司 61234
• 代理人: 張恒陽

本發明屬于監控視頻監測領域，具體涉及基于特征期望子圖校正分類的異常視頻清洗方法，包括步驟：CNN?LSTM特征提取、特征期望子圖構造及基于特征期望子圖的校正分類與清洗，本發明提高視頻異常事件檢測的準確度、查準率和查全率性能指標；另一方面能夠實現異常視頻的自動清洗，減少視頻數據集中的異常視頻數據，改善視頻數據集的數據質量。

技術領域

本發明屬于監控視頻監測領域，具體涉及基于特征期望子圖校正分類的異常視頻清洗方法。

背景技術

目前，相關研究主要集中在異常視頻檢測方面，包括視頻的異常事件檢測、異常活動檢測和異常行為檢測等。主要采用的理論方法包括：1、利用傳統低層特征和分類模型進行視頻異常檢測，例如將軌跡特征、Harris角點特征和光流運動特征等和SVM等分類模型相結合進行異常檢測；2、利用高層特征進行視頻異常檢測，例如通過CNN、LSTM、Resnets、Attention等深度學習模型獲取特征向量，進而利用softmax或SVM進行異常的分類識別；3、利用稀疏表示理論和分類算法相結合進行異常檢測。

無論上述哪種方式都只能對異常視頻數據進行分類識別，但是較難將異常視頻進行自動清洗。此外，上述研究在對視頻特征進行表征的時候，更多關注的是特征向量的形式化結構，較少考慮到特征向量的結構化特征，例如拓撲和連續性特征等，尤其對于復雜視頻場景，噪聲等干擾因素造成的特征可能會影響異常分類和識別的效果。

發明內容

為了克服以上問題，本發明提出基于特征期望子圖校正分類的異常視頻清洗方法，本方法通過構造特征期望子圖，過濾與視頻中各種干擾因素相關的不期望得到的特征表示，并將特征期望子圖與SVC分類器相結合，即在提高單個分類器的識別效果。

為實現上述目的，本發明采用的技術方案是：

基于特征期望子圖校正分類的異常視頻清洗方法，其特征在于，所述具體步驟如下：

S1、CNN-LSTM特征提取；

S2、特征期望子圖構造；

S3、基于特征期望子圖的校正分類與清洗。

所述CNN-LSTM特征提取具體步驟如下：

S11、選取多個視頻片段作為訓練樣本，輸入VGG-16網絡進行空間特征提取；

S12、將得到的特征輸入到LSTM中，進一步提取輸入視頻片段的時序特征。

所述特征期望子圖的構建的具體步驟如下：

S21、通過VGG-LSTM深度神經網絡獲得了一組特征向量

其中第i個特征向量可表示為

S22、利用下面的公式將特征向量轉換為二維的特征矩陣：

這里t表示矩陣Α⁽ⁱ⁾中的第t行，l表示第l列，并且第i個矩陣Α⁽ⁱ⁾與第i個特征向量一一對應；

S23、若Α⁽ⁱ⁾中的元素值不為0，通過一個映射獲取二維空間中的特征值點；

S25、通過如下公式度量兩個特征值點之間的距離：

其中，r表示鄰域的范圍；

S26、利用邊關聯若干個特征值點，并且產生若干個邊去表征所有特征向量中特征值點之間的相互關系，通過特征值點和邊的集合，構建一個由特征值點和邊構成的圖其中，ν表示特征值,ε(v)表示與特征值點相對應的邊的集合；

S25、在圖中計算邊集合的期望值，如下述公式所示：