[發明專利]視頻中的事件檢測方法及裝置

有效

• 申請號: 201711023244.1
• 申請日: 2017-10-27
• 公開（公告）號: CN109726726B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 劉武;馬華東;李雅楠;劉婷婷;黃婷婷
• 申請（專利權）人: 北京郵電大學;騰訊科技（深圳）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V20/40;G06T5/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 劉映東

本發明公開了一種視頻中的事件檢測方法及裝置，屬于計算機技術領域。所述方法包括：對待檢測的視頻進行特征提取，得到單幀特征向量集合，所述單幀特征向量集合包括至少兩個單幀特征向量，所述單幀特征向量中的每個分量表示所述視頻中的關鍵幀屬于概念集合中對應的概念的概率，所述概念集合包括所述視頻中的事件；對所述單幀特征向量集合進行均值池化和最大值池化，得到視頻特征向量；將所述視頻特征向量輸入預先訓練得到的事件分類器中；將所述事件分類器輸出的事件作為所述視頻中的事件。本發明解決了只對特征向量進行均值池化，或者，只對特征向量進行最大值池化，導致檢測結果不準確的問題，提高了事件檢測的準確性。

技術領域

本發明涉及計算機技術領域，特別涉及一種視頻中的事件檢測方法及裝置。

背景技術

一些視頻是對事件進行記錄得到的，比如，記錄騎車事件的視頻。對于這類視頻，用戶可能需要確定該視頻中包括哪些事件，因此，需要對視頻中的事件進行檢測。

相關技術中，電子設備對視頻提取關鍵幀，基于尺度不變特征變換(Scale-invariant?feature?transform，SIFT)得到每個關鍵幀的特征向量，對所有特征向量進行均值池化或最大值池化，得到該視頻的特征向量；利用大量標注了事件的視頻正樣本和視頻負樣本進行訓練，得到事件分類器；將該視頻的特征向量輸入事件分類器中，將事件分類器輸出的事件作為該視頻中的事件。

在視頻中特征不明顯的情況下，對特征向量進行均值池化，即對視頻中的相關特征和不相關特征進行平均，降低了相關特征的相關性，導致檢測結果不準確。對特征向量進行最大值池化，即選取視頻中的相關特征和不相關特征中的最大值，提高了不相關特征的相關性，導致檢測結果不準確。

發明內容

為了解決對特征向量進行均值池化或最大值池化，導致檢測結果不準確的問題，本發明實施例提供了一種視頻中的事件檢測方法及裝置。所述技術方案如下：

第一方面，提供了一種視頻中的事件檢測方法，所述方法包括：

對待檢測的視頻進行特征提取，得到單幀特征向量集合，所述單幀特征向量集合包括至少兩個單幀特征向量，所述單幀特征向量中的每個分量表示所述視頻中的關鍵幀屬于概念集合中對應的概念的概率，所述概念集合包括所述視頻中的事件；

對所述單幀特征向量集合進行均值池化和最大值池化，得到視頻特征向量；

將所述視頻特征向量輸入預先訓練得到的事件分類器中；

將所述事件分類器輸出的事件作為所述視頻中的事件。

第二方面，提供了一種視頻中的事件檢測裝置，所述裝置包括：

提取模塊，用于對待檢測的視頻進行特征提取，得到單幀特征向量集合，所述單幀特征向量集合包括至少兩個單幀特征向量，所述單幀特征向量中的每個分量表示所述視頻中的關鍵幀屬于概念集合中對應的概念的概率，所述概念集合包括所述視頻中的事件；

池化模塊，用于對所述提取模塊得到的所述單幀特征向量集合進行均值池化和最大值池化，得到視頻特征向量；

輸入模塊，用于將所述池化模塊得到的所述視頻特征向量輸入預先訓練得到的事件分類器中；

第一確定模塊，用于將所述事件分類器輸出的事件作為所述視頻中的事件。

在第二方面的第一種可能的實現方式中，所述提取模塊，具體用于：

將所述待檢測的視頻劃分成M個時長相等的視頻片段，M為大于1的正整數；

對每個視頻片段提取關鍵幀；

利用深度神經網絡計算每個關鍵幀的單幀特征向量，得到所述單幀特征向量集合。