[發明專利]一種基于稠密圖的視頻分類方法和系統

在審

• 申請號: 201811329682.5
• 申請日: 2018-11-09
• 公開（公告）號: CN109376683A
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 高科;陳瀟凱
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

本發明涉及一種基于稠密圖的視頻分類方法和系統，包括：通過共享的二維卷積神經網絡獲取幀級特征，然后將其按照時間順序堆起來組成稠密圖，最后通過一層時序卷積網絡并行地獲取多尺度特征完成分類任務。由于本發明涉及的參數量相比現有技術更少，因此計算復雜度更低。本發明不需要光流圖去建模時序信息，相對高效。發明中全部使用了二維卷積核，共享大量網絡參數，充分發揮了顯卡的并行計算能力，在不損失精度的情況下大大提升了速度，并且使得模型易訓練。

技術領域

本發明涉及計算機視覺與模式識別領域，并特別涉及一種基于稠密圖的視頻分類方法和系統。

背景技術

目前主流的動作識別方法主要為雙流法和3維卷積方法。雙流卷積網絡方法中，分為了空間流和時間流，它們的輸入分別是RGB圖像和光流場圖，每個流都使用多層卷積神經網絡對輸入的模態進行建模，最后兩個流的識別結果融合得到最終的結果。在3維卷積網絡中，卷積核從二維升到了3維，增加了“時間”的維度，其出發點是希望通過3維卷積同時學習到視頻中的表觀特征和動作特征。

雙流法將表觀和動作特征分成兩個流，增加了多模態的信息，但是依然存在以下兩點不足：

1.計算量過大，對于每一個流都需要訓練相應的深度卷積神經網絡，而且光流圖的計算代價和存儲代價較大，難以在線上系統中部署；

2.對視頻時序信息建模不足，其過度依賴光流圖完成時序信息的建模，最近的研究表明光流圖中的時序信息作用不明顯，主要是其內在的外觀不變性使得雙流法行之有效。

3維卷積法期望通過3維卷積核同時學習到視頻中的表觀和動作特征，但是依然存在以下兩點不足：

1.難以訓練，其參數量較大，而且需要對視頻進行密集采樣，計算代價也相應提高；

2.時序建模不充分，最近研究表明3維卷積對時序順序并不敏感，說明其3維卷積方式有待改進。

目前比較有效的視頻動作識別方法主要有雙流法以及3維卷積法，但是它們存在一定的缺點，前者過度依賴光流信息完成視頻時序的建模，而最近的研究指出光流對時序信息建模是不充分的，而且其計算量代價較大，后者期待通過3維卷積同時學習表觀和動作特征，這導致其參數量較大，同時結合密集采樣使得其計算代價也很大，因此模型難以訓練。為了更高效地完成視頻分類任務，本發明提出了一種算法，該算法通過共享的二維卷積神經網絡獲取幀級特征，然后將其按照時間順序堆起來組成稠密圖，最后通過一層時序卷積網絡并行地獲取多尺度特征完成分類任務。

發明內容

本發明的目的是有效解決現有動作識別算法計算速度慢，內存開銷大，時序建模不足的問題，提出了一種基于稠密圖的高效視頻動作識別方法。

具體來說本發明公開了一種基于稠密圖的視頻分類方法，其中包括：

訓練步驟，獲取已分類的視頻作為訓練數據，根據幀特征編碼函數，提取該訓練數據的多個幀特征表達，并依時間順序連接該多個幀特征表達，得到第一稠密圖，以該第一稠密圖訓練卷積神經網絡，得到時空演化特征提取模型；

第一提取步驟，獲取待分類視頻，根據該幀特征編碼函數，提取該待分類視頻的多個幀特征表達，依時間順序連接該多個幀特征表達，得到第二稠密圖；

第二提取步驟，根據預設的時間尺度范圍，使用該時空演化特征提取模型提取該第二稠密圖的時空演化特征，并對該時空演化特征進行最大池化操作，得到該第二稠密圖在該尺度范圍內的尺度特征；

循環步驟，調整該時間尺度范圍，循環執行該第二提取步驟，以得到多個該尺度特征，對該多個尺度特征通過全連接層并融合，最后通過歸一化指數函數，得到該待分類視頻屬于各類別的概率，提取最大概率對應的類別作為該視頻的分類結果。

所述的基于稠密圖的視頻分類方法，其中該第一提取步驟包括：