[發明專利]行為識別方法及裝置、設備和存儲介質

在審

• 申請號: 202110449968.2
• 申請日: 2021-04-25
• 公開（公告）號: CN113111839A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 蘇海昇;蘇婧;王棟梁
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N20/00
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉鶴;張穎玲

本申請實施例公開了一種行為識別方法，包括：獲取待識別視頻序列中每一幀圖像中每一對象的檢測結果；根據每一所述對象的檢測結果，生成至少一個第一序列；其中，每一所述第一序列為包括同一對象的軌跡序列；對每一所述第一序列進行行為識別，得到每一所述對象的行為識別結果。本申請實施例還同時提供了一種行為識別裝置、設備及存儲介質。

技術領域

本申請涉及計算機視覺領域，涉及但不限定于行為識別方法及裝置、設備和存儲介質。

背景技術

相關技術中的行為識別方法首先對輸入的視頻序列進行全圖的數據增強或其他預處理，然后直接送入到分類模型中進行預測。也就是說，輸入整個視頻序列到網絡模型，讓網絡模型去感知行為發生的執行主體的發生位置。這種方式依賴于執行主體占比畫面很大的前提假設，只適用于以執行主體為中心的視頻行為識別，該類數據常見于公開的視頻學術數據集中。

然而在大規模視頻數據下，行為發生的執行主體的數量不可預知，且視頻中的每一幀圖像往往包含更多的信息，覆蓋的視野也更大，造成識別效果較低、計算量大。

發明內容

本申請實施例提供一種行為識別方法及裝置、設備和存儲介質。

本申請實施例的技術方案是這樣實現的：

第一方面，本申請實施例提供一種行為識別方法，所述方法包括：獲取待識別視頻序列中每一幀圖像中每一對象的檢測結果；根據每一所述對象的檢測結果，生成至少一個第一序列；其中，每一所述第一序列為包括同一對象的軌跡序列；對每一所述第一序列進行行為識別，得到每一所述對象的行為識別結果。

這樣，首先獲取每一幀圖像中每一對象的檢測結果，以確定單個對象在待識別視頻序列中準確的軌跡序列即第一序列，然后對至少一個第一序列進行行為識別。通過利用視頻分類算法與檢測算法的結合，將單幀行為識別算法拓展為一個具有時序關系的行為識別算法。將視頻分類問題轉換成軌跡序列的識別問題，能夠減小模型的識別難度，并提升有效信息的獲取。同時拓展了視頻理解模型的邊界，發揮了視頻理解模型的潛力，也是對現有視頻理解模型落地應用的體現。

在一些可能的實施方式中，所述待識別視頻序列是通過以下過程得到的：按照特定時間間隔，從視頻源中選取至少兩幀圖像；將所述至少兩幀圖像存入幀序列緩沖區；其中，所述幀序列緩沖區的長度固定；獲取所述幀序列緩沖區中的幀圖像作為所述待識別視頻序列。

這樣，通過間隔特定時間間隔采樣視頻源中的多幀圖像，構造滑窗式幀序列緩沖區，一方面是能高效處理離線長視頻和在線視頻流，并行處理每個窗口內的視頻幀序列；另一方面，以固定大小的窗口作為基本處理單元可以保證采樣的合理性，捕捉動作執行的全局過程。

在一些可能的實施方式中，所述對象的檢測結果至少包括所述對象的檢測框和與所述檢測框關聯的對象標識；所述根據每一所述對象的檢測結果，生成至少一個第一序列，包括：從每一所述對象的檢測框中，選擇在空間位置上獨立的檢測框作為候選檢測框；根據所述候選檢測框和與所述候選檢測框關聯的對象標識，生成所述至少一個第一序列。

這樣，從每一幀圖像包含的所有對象的檢測框中，篩選出每一單個對象的候選檢測框，再根據候選檢測框生成至少一個第一序列。從而只對容易發生行為的獨立單個對象進行識別，能夠減小行為識別模型的識別難度，減少模型計算量。

在一些可能的實施方式中，所述每一幀圖像中包括一個檢測框，所述從每一所述對象的檢測框中，選擇在空間位置上獨立的檢測框作為候選檢測框，包括：將所述每一幀圖像中的一個檢測框作為所述候選檢測框。

這樣，對于每一幀圖像中包括一個檢測框即該待識別視頻序列中只有一個對象的情況，直接將該對象的檢測框作為候選檢測框，以方便后續生成軌跡序列，能夠簡化操作，有效提取有用信息。