[發明專利]動作識別方法、裝置及電子設備

有效

• 申請號: 202010330214.0
• 申請日: 2020-04-23
• 公開（公告）號: CN111680543B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 吳騫
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/80;G06T3/40;G06T7/246
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本發明提供了一種動作識別方法、裝置及電子設備，涉及圖像處理技術領域，該方法包括：如果從視頻幀中檢測出目標對象，獲取包含有該目標對象的多張圖像，以及該多張圖像的光流圖像；從該多張圖像中提取該目標對象的對象軌跡特征，從該多張圖像的光流圖像中提取該目標對象的光流軌跡特征；根據該對象軌跡特征和該光流軌跡特征，識別該目標對象的動作類型。本發明實施例通過結合視頻幀中目標對象的軌跡信息，以及該圖像的光流圖像中該目標對象的光流信息，對目標對象的動作類型進行識別，由于融合了該目標對象的時間特征信息和空間特征信息，有效提高了動作類型的檢測識別精度，并可以同時兼顧檢測效率，提高了整體的檢測性能。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種動作識別方法、裝置及電子設備。

背景技術

視頻動作檢測的任務是從視頻中找出可能存在動作的片段，并對該動作所屬的行為進行分類。隨著國內外攝像設備的普及，對實時的在線視頻動作檢測也提出了更高的要求。目前，主流的在線視頻動作檢測方法多使用三維卷積網絡，其計算量大，導致檢測延遲高；而另一種使用二維卷積網絡的視頻動作檢測方法，其計算速度較快，但是精度較低。

整體而言，當前的在線視頻動作檢測方法無法同時兼顧檢測精度和檢測效率，整體性能較差。

發明內容

有鑒于此，本發明的目的在于提供一種動作識別方法、裝置及電子設備，可以同時兼顧在線視頻動作檢測的檢測精度和檢測效率，提高整體的檢測性能。

第一方面，本發明實施例提供了一種動作識別方法，包括：如果從視頻幀中檢測出目標對象，獲取包含有該目標對象的多張圖像，以及該多張圖像的光流圖像；從該多張圖像中提取該目標對象的對象軌跡特征，從該多張圖像的光流圖像中提取該目標對象的光流軌跡特征；根據該對象軌跡特征和該光流軌跡特征，識別該目標對象的動作類型。

在本發明較佳的實施例中，上述根據該對象軌跡特征和該光流軌跡特征，識別該目標對象的動作類型的步驟，包括：根據該對象軌跡特征和該光流軌跡特征，從該多張圖像中確定發生動作的目標圖像；根據該目標圖像和該目標圖像的光流圖像，識別該目標對象的動作類型。

在本發明較佳的實施例中，上述根據該對象軌跡特征和該光流軌跡特征，從該多張圖像中確定發生動作的目標圖像的步驟，包括：對該多張圖像中的每張圖像均執行下述操作：對圖像中該目標對象的對象軌跡特征和光流軌跡特征進行拼接，得到該目標對象的復合軌跡特征；或者，將圖像中該目標對象的對象軌跡特征和光流軌跡特征相加，得到該目標對象的復合軌跡特征；根據該目標對象的復合軌跡特征，從該多張圖像中確定發生動作的目標圖像。

在本發明較佳的實施例中，上述根據該目標對象的復合軌跡特征，從該多張圖像中確定發生動作的目標圖像的步驟，包括：將該多張圖像按時間順序順次排序；根據每個圖像集包含的預設圖像數，將排序后的該多張圖像劃分為多個圖像集；對每一該圖像集，按預設采樣長度對該圖像集中該目標對象的復合軌跡特征進行采樣，得到該圖像集的采樣特征；將該圖像集的采樣特征輸入到預先訓練好的神經網絡中，輸出該圖像集包含發生動作的圖像的概率，該圖像集中首張圖像相對發生動作的圖像區間始端的第一偏移量，以及該圖像集中末張圖像相對該圖像區間末端的第二偏移量；根據該圖像集包含發生動作的圖像的概率，該第一偏移量和該第二偏移量，確定該圖像集中發生動作的目標圖像。

在本發明較佳的實施例中，上述根據該目標對象的復合軌跡特征，從該多張圖像中確定發生動作的目標圖像的步驟，包括：對該多張圖像中的每張圖像，根據圖像中該目標對象的復合軌跡特征，確定該圖像作為動作起始圖像的第一概率、該圖像作為動作結束圖像的第二概率、以及該圖像發生了動作的第三概率；根據每張圖像的第一概率、第二概率和第三概率，從該多張圖像中確定發生動作的目標圖像。