[發明專利]一種識別視頻事件的方法及設備

在審

• 申請號: 201911128938.0
• 申請日: 2019-11-18
• 公開（公告）號: CN110909655A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 周康明;李俊杰
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;甘章乖

1.一種識別視頻事件的方法，其中，所述方法包括：

對獲得的待檢測視頻進行采樣，得到圖片序列；

對所述圖片序列中的每張圖片進行檢測，確定每張圖片的關鍵點組；

提取所述每張圖片的關鍵點組中的特征信息，根據所述每張圖片的關鍵點組中的特征信息確定特征向量序列；

根據所述特征向量序列中的每個特征向量確定所述待檢測視頻的事件類別。

2.根據權利要求1所述的方法，其中，所述根據所述特征向量序列中的每個特征向量確定所述待檢測視頻的事件類別，包括：

根據所述特征向量序列中的每個特征向量得到多種事件類別以及多種事件類別的得分；

根據所述多種事件類別的得分及得分閾值確定所述待檢測視頻的事件類別。

3.根據權利要求1所述的方法，其中，所述對所述圖片序列中的每張圖片進行檢測，確定每張圖片的關鍵點組，包括：

對所述圖片序列中的每張圖片進行人體和物體的檢測，確定每張圖片的關鍵點組，其中，所述每張圖片的關鍵點組包括人體的關鍵點和物體的關鍵點。

4.根據權利要求3所述的方法，其中，所述提取所述每張圖片的關鍵點組中的特征信息，根據所述每張圖片的關鍵點組中的特征信息確定特征向量序列，包括：

將所述每張圖片的關鍵點組中的人體的關鍵點和物體的關鍵點在對應圖片中的坐標分別展開成人體的向量和物體的向量；

根據所述人體的向量和物體的向量確定人體的特征向量和物體的特征向量；

將每張圖片中所有的人體的特征向量和物體的特征向量進行融合，得到每張圖片對應的融合特征矩陣；

根據所有圖片對應的融合特征矩陣確定特征向量序列。

5.根據權利要求4所述的方法，其中，所述將每張圖片中所有的人體的特征向量和物體的特征向量進行融合，得到每張圖片對應的融合特征矩陣，包括：

將每張圖片中所有的人體的特征向量排列組成矩陣；

將所述矩陣與在同一張圖片中的物體的特征矩陣做克羅內克積，得到每張圖片對應的融合特征矩陣。

6.根據權利要求5所述的方法，其中，所述根據所有圖片對應的融合特征矩陣確定特征向量序列，包括：

將所有圖片對應的融合特征矩陣輸入至卷積神經網絡中，得到新的特征圖；

根據所述新的特征圖確定特征向量序列。

7.根據權利要求2所述的方法，其中，所述根據所述多種事件類別的得分及得分閾值確定所述待檢測視頻的事件類別，包括：

若所述多種事件類別的得分中存在至少一個得分大于得分閾值時，則取高于所述得分閾值的得分中的最大值得分，將所述最大值得分對應的事件類別作為所述待檢測視頻的事件類別；

若所述多種事件類別的得分均小于等于得分閾值時，則利用長短期記憶模型對所述特征向量序列進行序列識別以確定所述待檢測視頻的事件類別。

8.根據權利要求1所述的方法，其中，所述根據所述特征向量序列中的每個特征向量確定所述待檢測視頻的事件類別，還包括：

將所述特征向量序列中的每個特征向量中的各個分量取二范數，根據所述特征向量序列對應的二范數確定所述待檢測視頻的事件類別。

9.一種識別視頻事件的設備，其中，所述設備包括：

采樣裝置，用于對獲得的待檢測視頻進行采樣，得到圖片序列；

檢測裝置，用于對所述圖片序列中的每張圖片進行檢測，確定每張圖片的關鍵點組；

提取裝置，用于提取所述每張圖片的關鍵點組中的特征信息，根據所述每張圖片的關鍵點組中的特征信息確定特征向量序列；

識別裝置，用于根據所述特征向量序列中的每個特征向量確定所述待檢測視頻的事件類別。

10.一種識別視頻事件的設備，其中，所述設備包括：

一個或多個處理器；以及

存儲有計算機可讀指令的存儲器，所述計算機可讀指令在被執行時使所述處理器執行如權利要求1至8中任一項所述方法的操作。