[發明專利]一種事件類型預測方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011050761.X
• 申請日: 2020-09-29
• 公開（公告）號: CN112163525B
• 公開（公告）日: 2023-02-21
• 發明（設計）人: 孫尚勇
• 申請（專利權）人: 新華三信息安全技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/80;G06V10/774;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;高鶯然

1.一種事件類型預測方法，其特征在于，所述方法包括：

獲得圖像采集設備采集的視頻幀；

提取各個視頻幀中對象的對象特征，并基于各個視頻幀中內容的上下文關系以及各個視頻幀間對象的移動關系，對所提取的對象特征進行融合；

基于融合后的對象特征，預測所述圖像采集設備能夠監控的事件的事件類型；

所述提取各個視頻幀中對象的對象特征，并基于各個視頻幀中內容的上下文關系以及各個視頻幀間對象的移動關系，對所提取的對象特征進行融合，包括：

提取各個視頻幀中對象的對象特征，并按照各個視頻幀的采集順序，在通道維度對各個視頻幀對應的對象特征進行合并，得到第一特征圖；

對所述第一特征圖中不同通道的特征進行融合，得到第二特征圖，其中，所述第二特征圖的通道數量小于所述第一特征圖的通道數量；

對所述第二特征圖進行維度轉換，得到一維特征向量；

對所述一維特征向量中的特征進行特征融合；

所述提取各個視頻幀中對象的對象特征，包括：

分別將各個視頻幀輸入預先訓練完成的事件類型預測模型的卷積層，利用所述卷積層對各個視頻幀進行卷積變換，得到各個視頻幀中對象的特征圖，作為各個視頻幀中對象的對象特征，其中，所述特征圖包括通道維度、高度維度、寬度維度，所述事件類型預測模型包括：特征融合層和全連接層，所述特征融合層包括：特征合并子層、卷積子層、維度轉換子層、長短期記憶網絡子層；

所述按照各個視頻幀的采集順序，在通道維度對各個視頻幀對應的對象特征進行合并，得到第一特征圖，包括：

將各個視頻幀中對象的特征圖輸入所述特征合并子層，利用所述特征合并子層按照各個視頻幀的采集順序，在通道維度對各個視頻幀對應的特征圖進行合并，得到第一特征圖；

所述對所述第一特征圖中不同通道的特征進行融合，得到第二特征圖，包括：

將所述第一特征圖輸入所述卷積子層，利用所述卷積子層按照對所述第一特征圖進行卷積變換的方式，對所述第一特征圖中不同通道的特征進行融合，得到第二特征圖；

所述對所述第二特征圖進行維度轉換，得到一維特征向量，包括：

將所述第二特征圖輸入所述維度轉換子層，利用所述維度轉換子層在高度維度和寬度維度上對所述第二特征圖進行維度轉換，得到一維特征向量；

所述對所述一維特征向量中的特征進行特征融合，包括：

將所述一維特征向量輸入所述長短期記憶網絡子層，利用所述長短期記憶網絡子層對所述一維特征向量中的特征進行特征融合；

所述基于融合后的對象特征，預測所述圖像采集設備能夠監控的事件的事件類型，包括：

將融合后的對象特征輸入所述全連接層，利用所述全連接層預測所述圖像采集設備能夠監控的事件的類型。

2.根據權利要求1所述的方法，其特征在于，所述基于融合后的對象特征，預測所述圖像采集設備能夠監控的事件的事件類型，包括：

基于融合后的對象特征，預測所獲得的視頻幀對應于各個預設的事件類型的概率，其中，每一事件類型的概率表征：所獲得的視頻幀反映的場景中發生該事件類型的事件的發生概率；

確定對應的概率達到預設的概率閾值的事件類型，將所確定的事件類型作為所述圖像采集設備能夠監控的事件的事件類型。

3.根據權利要求1或2所述的方法，其特征在于，所述獲得圖像采集設備采集的視頻幀，包括：

獲得圖像采集設備采集的視頻，按照預設間隔從所述視頻中抽取預設數量幀視頻幀；或者，

獲得圖像采集設備采集的視頻幀，并對各個視頻幀進行縮放處理，得到預設大小的視頻幀。