[發明專利]一種基于稠密圖的視頻分類方法和系統

在審

• 申請號: 201811329682.5
• 申請日: 2018-11-09
• 公開（公告）號: CN109376683A
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 高科;陳瀟凱
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種基于稠密圖的視頻分類方法，其特征在于，包括：

訓練步驟，獲取已分類的視頻作為訓練數據，根據幀特征編碼函數，提取該訓練數據的多個幀特征表達，并依時間順序連接該多個幀特征表達，得到第一稠密圖，以該第一稠密圖訓練卷積神經網絡，得到時空演化特征提取模型；

第一提取步驟，獲取待分類視頻，根據該幀特征編碼函數，提取該待分類視頻的多個幀特征表達，依時間順序連接該多個幀特征表達，得到第二稠密圖；

第二提取步驟，根據預設的時間尺度范圍，使用該時空演化特征提取模型提取該第二稠密圖的時空演化特征，并對該時空演化特征進行最大池化操作，得到該第二稠密圖在該尺度范圍內的尺度特征；

循環步驟，調整該時間尺度范圍，循環執行該第二提取步驟，以得到多個該尺度特征，對該多個尺度特征通過全連接層并融合，最后通過歸一化指數函數，得到該待分類視頻屬于各類別的概率，提取最大概率對應的類別作為該視頻的分類結果。

2.如權利要求1所述的基于稠密圖的視頻分類方法，其特征在于，該第一提取步驟包括：

從待分類視頻中采樣n幀:{I₁,I₂,...,I_n}，其中I_n代表視頻中的第i幀，其中為幀特征編碼函數，R^k表示k維實數空間，x_t即為I_t幀的特征表達，然后按照視頻幀的時間順序把這些幀特征連接起來：其中代表連接操作，并將得到矩陣X∈R^nk作為該第二稠密圖，其寬度為n，長度為k(n行，k列)。

3.如權利要求1或2所述的基于稠密圖的視頻分類方法，其特征在于，該第二提取步驟包括：

時空演化信息提取步驟，對于第二稠密圖X，令X_i＝x_i+j，X_i表示第二稠密圖中第i幀特征到第i+j幀特征的組合，時序卷積操作按照如下公式進行：

其中m代表時序卷積層的輸出通道索引，w_m，h是用于抓取相鄰h幀時空模式的卷積核，其高度為該時間尺度范圍h，寬度為k，T代表轉置操作，b_m是偏置項，f是非線性映射函數，c_i,m^h表示第m通道卷積核對X_i:X_i+h提取的時空演化信息，m代表該時序卷積層的輸出通道索引；

時空演化特征提取步驟，根據下式得到該時空演化特征c_m^h：

對c_m^h進行經過最大池化操作：獲得c_m^h中的最大值，以在尺度h上得到第二稠密圖的特征：其中M表示時序卷積的輸出通道個數，c^h特征為該尺度特征。

4.如權利要求3所述的基于稠密圖的視頻分類方法，其特征在于，該循環步驟包括，通過如下歸一化指數函數，得到該待分類視頻屬于各類別的概率score；

5.如權利要求3所述的基于稠密圖的視頻分類方法，其特征在于，該循環步驟具體包括，將該時間尺度范圍H分別調整為2、3、4、5、6幀。