[發明專利]視頻事件識別方法、裝置、設備及存儲介質

有效

• 申請號: 202110559992.1
• 申請日: 2021-05-21
• 公開（公告）號: CN113361344B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 汪琦;馮知凡;柴春光;朱勇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06F16/75;G06F16/783
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種視頻事件識別方法，包括：

獲取待識別事件的視頻；

從所述視頻中抽取得到關鍵幀圖像，以根據所述關鍵幀圖像確定所述視頻的預測動作；

根據所述預測動作查詢對應的動作圖譜，確定所述預測動作的多個屬性；

根據所述預測動作、所述多個屬性和所述關鍵幀圖像，確定所述多個屬性對應的屬性值；

根據所述預測動作、所述多個屬性和所述多個屬性對應的屬性值，構建事件圖；

將所述事件圖與預先構建的視頻事件圖譜中各事件進行匹配，將匹配得到的事件作為所述視頻關聯的事件。

2.根據權利要求1所述的識別方法，其中，所述從所述視頻中抽取得到關鍵幀圖像，以根據所述關鍵幀圖像確定所述視頻的預測動作，包括：

對所述視頻進行抽幀處理，得到多幀視頻幀圖像；

從所述多幀視頻幀圖像中確定至少一幀關鍵幀圖像；

根據所述至少一幀關鍵幀圖像的動作，確定所述視頻的預測動作。

3.根據權利要求2所述的識別方法，其中，所述從所述多幀視頻幀圖像中確定至少一幀關鍵幀圖像，包括：

對所述視頻幀圖像進行特征提取，得到視頻幀圖像特征；

將所述視頻幀圖像特征與所述視頻的全局圖像特征進行特征融合，得到融合后的圖像特征；

將所述融合后的圖像特征輸入分類器進行關鍵幀識別，得到至少一幀關鍵幀圖像。

4.根據權利要求1所述的識別方法，其中，所述根據所述預測動作、所述多個屬性和所述關鍵幀圖像，確定所述多個屬性對應的屬性值，包括：

對所述預測動作和各屬性分別進行編碼，得到多個編碼結果；

對所述關鍵幀圖像進行特征提取，得到提取后的圖像特征；

將所述多個編碼結果和所述圖像特征分別輸入經過訓練的注意力機制模型，得到所述多個屬性對應的屬性值。

5.根據權利要求1所述的識別方法，其中，所述根據所述預測動作、所述多個屬性和所述多個屬性對應的屬性值，構建事件圖，包括：

將所述預測動作作為事件圖的第一層節點；

將所述多個屬性分別與所述第一層節點相連，作為第二層節點；

將所述多個屬性對應的屬性值分別與各屬性對應的第二層節點相連，作為第三層節點，以得到所述事件圖。

6.根據權利要求1所述的識別方法，其中，所述將所述事件圖與預先構建的視頻事件圖譜中各事件進行匹配，將匹配得到的事件作為所述視頻關聯的事件，包括：

獲取所述事件圖對應的圖嵌入表示；

確定所述事件圖對應的圖嵌入表示與所述視頻事件圖譜中各事件的圖嵌入表示之間的相似度；

將相似度最高的事件確定為所述視頻關聯的事件。

7.一種視頻事件識別裝置，包括：

獲取模塊，用于獲取待識別事件的視頻；

第一確定模塊，用于從所述視頻中抽取得到關鍵幀圖像，以根據所述關鍵幀圖像確定所述視頻的預測動作；

第二確定模塊，用于根據所述預測動作查詢對應的動作圖譜，確定所述預測動作的多個屬性；

第三確定模塊，用于根據所述預測動作、所述多個屬性和所述關鍵幀圖像，確定所述多個屬性對應的屬性值；

構建模塊，用于根據所述預測動作、所述多個屬性和所述多個屬性對應的屬性值，構建事件圖；

處理模塊，用于將所述事件圖與預先構建的視頻事件圖譜中各事件進行匹配，將匹配得到的事件作為所述視頻關聯的事件。

8.根據權利要求7所述的識別裝置，其中，第一確定模塊，還包括：

處理單元，用于對所述視頻進行抽幀處理，得到多幀視頻幀圖像；

第一確定單元，用于從所述多幀視頻幀圖像中確定至少一幀關鍵幀圖像；

第二確定單元，用于根據所述至少一幀關鍵幀圖像的動作，確定所述視頻的預測動作。