[發明專利]視頻中的事件檢測方法及裝置

有效

• 申請號: 201711023244.1
• 申請日: 2017-10-27
• 公開（公告）號: CN109726726B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 劉武;馬華東;李雅楠;劉婷婷;黃婷婷
• 申請（專利權）人: 北京郵電大學;騰訊科技（深圳）有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V20/40;G06T5/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 劉映東

1.一種視頻中的事件檢測方法，其特征在于，所述方法包括：

將待檢測的視頻劃分成M個時長相等的視頻片段，M為大于1的正整數；對每個視頻片段提取關鍵幀；利用深度神經網絡計算每個關鍵幀的單幀特征向量，得到單幀特征向量集合，所述單幀特征向量集合包括至少兩個單幀特征向量，所述單幀特征向量中的每個分量表示所述視頻中的關鍵幀屬于概念集合中對應的概念的概率，所述概念集合包括所述視頻中的事件；

對于每個視頻片段，對所述單幀特征向量集合中所述視頻片段對應的所有單幀特征向量進行均值池化，得到分段特征向量；所述均值池化是指對所述視頻片段對應的所有單幀特征向量中同一概念對應的所有分量計算平均值，將所述平均值作為所述視頻片段對應的分段特征向量中同一概念對應的分量的數值；

對所有視頻片段對應的分段特征向量進行最大值池化，得到視頻特征向量；所述最大值池化是指在所述視頻中所有視頻片段對應的分段特征向量中取同一概念對應的所有分量中的最大值，將所述最大值作為所述視頻特征向量中同一概念對應的分量的數值；

將所述視頻特征向量輸入預先訓練得到的事件分類器中；

將所述事件分類器輸出的事件作為所述視頻中的事件。

2.根據權利要求1所述的方法，其特征在于，在所述將所述視頻特征向量輸入預先訓練得到的事件分類器中之前，所述方法還包括：

對于所述概念集合中的每個概念，獲取標注有所述概念的視頻正樣本和未標注所述概念的視頻負樣本，所述視頻負樣本的數量大于所述視頻正樣本的數量；

利用每個概念對應的所述視頻正樣本和所述視頻負樣本訓練得到所述事件分類器。

3.根據權利要求2所述的方法，其特征在于，當所述事件分類器的參數包括每個概念的權重和每個概念的偏置時，在所述將所述事件分類器輸出的事件作為所述視頻中的事件之前，所述方法還包括：

將所述視頻特征向量中的每個分量乘以對應的概念的權重，將得到的乘積與所述概念對應的偏置相加得到計算結果；

將最大的計算結果所對應的概念作為所述事件分類器輸出的事件。

4.根據權利要求1至3任一項所述的方法，其特征在于，在所述將所述事件分類器輸出的事件作為所述視頻中的事件之后，所述方法還包括：

在所述視頻中定位所述事件的各個子事件，并獲取每個子事件的子事件描述，得到包含子事件且具有子事件描述的各個視頻片段。

5.根據權利要求4所述的方法，其特征在于，所述在所述視頻中定位所述事件的各個子事件，并獲取每個子事件的子事件描述，得到包含子事件且具有子事件描述的各個視頻片段，包括：

將標注有所述事件的視頻正樣本和所述視頻輸入所述事件分類器中；

利用所述事件分類器將所述視頻中每個視頻片段對應的分段特征向量中的每個分量乘以對應的概念的權重，將得到的乘積與所述概念對應的偏置相加得到計算結果，將大于第一閾值的各個計算結果所對應的視頻片段作為包含子事件的視頻片段；

生成各個子事件的子事件描述；

輸出包含所述子事件且帶有所述子事件描述的各個視頻片段。

6.根據權利要求5所述的方法，其特征在于，所述生成各個子事件的子事件描述，包括：

生成所述事件對應的概念白名單；

對于包含子事件的每個視頻片段，選擇所述視頻片段對應的最大的計算結果，將所述計算結果所對應的概念和所述概念白名單中重復的內容作為所述子事件描述。

7.根據權利要求6所述的方法，其特征在于，所述生成所述事件對應的概念白名單，包括：

選擇一個文本集合；

計算所述文本集合中每個詞語的向量和所述事件的向量之間的余弦值，所述余弦值的大小與相關性呈正相關關系，所述相關性是所述詞語和所述事件的相關性；

對大于第二閾值的余弦值所對應的詞語進行二折交叉驗證，得到每個詞語的準確率；

對準確率低于第三閾值的詞語和在s個事件中準確率均高于第四閾值的詞語進行刪除，得到所述概念白名單，s為大于1的正整數。