[發明專利]視頻動作識別方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010302004.0
• 申請日: 2020-04-16
• 公開（公告）號: CN111539290B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 趙家成
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/0464
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明實施例提供一種視頻動作識別方法、裝置、電子設備及存儲介質；方法包括：從待識別的視頻得到第一幀圖像序列；根據第一幀圖像序列生成第一差分圖像序列；提取第一幀圖像序列中的幀圖像在時間和空間上的特征，得到第一視頻動作識別結果；提取第一差分圖像序列中的差分圖像在時間和空間上的特征，得到第二視頻動作識別結果；根據第一視頻動作識別結果與第二視頻動作識別結果，得到第一幀圖像序列的最終視頻動作識別結果。本發明實施例通過將現有的雙流網絡中的光流信息替換為差分圖像，在不損失識別精度的前提下，不僅可以節省大量的計算資源，降低運行成本，還進一步提高的算法的識別速度。更加適合實時性要求較高的場景。

技術領域

本發明涉及視頻技術領域，尤其涉及一種視頻動作識別方法、裝置、電子設備及存儲介質。

背景技術

基于視頻的人體動作識別可應用于多個領域，如行為分析、人機交互、公共安全、智能監控等。深度卷積網絡的出現極大地促進了圖像分類、目標識別等技術的發展，因此也開始被大量應用在動作識別中。

由于視頻是由連續的多幀圖像組成，因此深度卷積網絡中的2D卷積網絡無法獲取到時間和運動信息，也就不能用于視頻動作識別。

現有技術中的一種解決方法是先從視頻中提取出運動信息，比如光流信息，然后再設計一個包含空間信息流和時間信息流的雙流網絡，分別使用圖像信息和光流信息進行訓練，從而得到能夠用于視頻動作識別的模型。

基于雙流網絡的視頻動作識別方法通常都采用RGB圖像和光流信息，光流雖然能夠增加動作識別的準確率，但是計算光流信息的復雜度較高，需要占用大量的資源，同時計算光流的時間也比較長，難以滿足生產環境中快速、實時的要求。

發明內容

本發明實施例提供一種視頻動作識別方法、裝置、電子設備及存儲介質，用以解決現有技術中的視頻動作識別方法計算復雜度較高、需要占用大量資源以及實時性低的缺陷。

本發明第一方面實施例提供一種視頻動作識別方法，包括：

從待識別的視頻得到第一幀圖像序列；

根據所述第一幀圖像序列生成第一差分圖像序列；

提取所述第一幀圖像序列中的幀圖像在時間和空間上的特征，根據幀圖像在時間和空間上的特征得到第一視頻動作識別結果；

提取所述第一差分圖像序列中的差分圖像在時間和空間上的特征，根據差分圖像在時間和空間上的特征得到第二視頻動作識別結果；

根據所述第一視頻動作識別結果與所述第二視頻動作識別結果，得到所述第一幀圖像序列的最終視頻動作識別結果。

上述技術方案中，所述提取所述第一幀圖像序列中的幀圖像在時間和空間上的特征，根據幀圖像在時間和空間上的特征得到第一視頻動作識別結果包括：

將所述第一幀圖像序列輸入第一視頻動作識別模型，由所述第一視頻動作識別模型提取所述第一幀圖像序列中的幀圖像在時間和空間上的特征，根據幀圖像在時間和空間上的特征得到第一視頻動作識別結果；

以及，所述提取所述第一差分圖像序列中的差分圖像在時間和空間上的特征，根據差分圖像在時間和空間上的特征得到第二視頻動作識別結果包括：

將所述第一差分圖像序列輸入第二視頻動作識別模型，由所述第二視頻動作識別模型提取所述第一差分圖像序列中的差分圖像在時間和空間上的特征，根據差分圖像在時間和空間上的特征得到第二視頻動作識別結果；

其中，所述第一視頻動作識別模型是基于樣本視頻中提取的樣本幀圖像序列、所述樣本幀圖像序列對應的動作識別結果訓練得到的；

所述第二視頻動作識別模型是基于樣本視頻所生成的樣本差分圖像序列、所述樣本差分圖像序列對應的動作識別結果訓練得到的。