[發明專利]一種行為識別方法、裝置、設備及存儲介質

在審

• 申請號: 202210101633.6
• 申請日: 2022-01-27
• 公開（公告）號: CN114429608A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 蘇海昇
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06K9/62
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 賈偉;張穎玲

本申請實施例提供一種行為識別方法、裝置、設備及存儲介質，其中，所述方法包括：獲取包括待識別對象的視頻幀序列；在所述視頻幀序列中，確定所述待識別對象所在的第一圖像區域集合；基于所述第一圖像區域集合中所述待識別對象的行為類別，對不同第一圖像區域之間的特征距離進行調整，得到第二圖像區域集合；基于所述第二圖像區域集合，對所述待識別對象的行為進行識別，得到識別結果。

技術領域

本申請實施例涉及計算機視覺領域，涉及但不限于一種行為識別方法、裝置、設備及存儲介質。

背景技術

針對以人為中心的視頻行為識別，對輸入視頻序列進行全圖的數據增強后送入到分類模型中進行預測。由于攝像頭拍攝到的視頻中往往包含更多的信息，覆蓋的視野也更大。這樣，行人的目標事件發生位置和人體尺度也具有隨機性，影響行為識別的準確度。

發明內容

本申請實施例提供一種全景圖更新技術方案。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種行為識別方法，所述方法包括：

獲取包括待識別對象的視頻幀序列；

在所述視頻幀序列中，確定所述待識別對象所在的第一圖像區域集合；

基于所述第一圖像區域集合中所述待識別對象的行為類別，對不同第一圖像區域之間的特征距離進行調整，得到第二圖像區域集合；

基于所述第二圖像區域集合，對所述待識別對象的行為進行識別，得到識別結果。

在一些實施例中，所述在所述視頻幀序列中，確定所述待識別對象所在的第一圖像區域集合，包括：對每一視頻幀中的所述待識別對象進行檢測，得到所述待識別對象的多個檢測框；在所述每一視頻幀中對所述多個檢測框的面積進行調整，得到多個已調整區域；在所述每一視頻幀的多個已調整區域中，確定所述第一圖像區域集合。如此，通過對每一視頻幀中多個檢測框的面積進行調整后，在多個已調整區域中選擇一部分作為該視頻幀的第一圖像區域，能夠減少重復識別。

在一些實施例中，所述在所述每一視頻幀的多個已調整區域中，確定所述第一圖像區域集合，包括：在所述每一視頻幀的多個已調整區域中，確定與參考已調整區域的重疊度大于預設重疊度閾值且面積小于預設面積閾值的目標已調整區域；在所述每一視頻幀的多個已調整區域中，剔除所述目標已調整區域，得到所述每一視頻幀的所述第一圖像區域集合；其中，所述參考已調整區域為所述多個已調整區域中第一置信度大于第一置信度閾值的任一已調整區域。如此，能夠降低在已調整區域中進行行為識別的計算量，以及利用質量較高的第一圖像區域進行行為識別，能夠提高識別的精準度。

在一些實施例中，所述基于所述第一圖像區域集合中所述待識別對象的行為類別，對不同第一圖像區域之間的特征距離進行調整，得到第二圖像區域集合之前，所述方法還包括：從所述視頻幀序列中，選擇小于預設幀數的視頻幀作為目標視頻幀；基于每一目標視頻幀中的第一圖像區域，對所述待識別對象的行為進行分類，得到所述待識別對象的行為類別。如此，通過在視頻幀序列中選擇少量的目標視頻幀進行對象行為的分類，能夠降低進行行為分類的計算量。

在一些實施例中，所述基于所述第一圖像區域集合中所述待識別對象的行為類別，對不同第一圖像區域之間的特征距離進行調整，得到第二圖像區域集合，包括：對所述行為類別相同的第一圖像區域之間的特征距離進行減小和/或對所述行為類別不同的第一圖像區域之間的特征距離進行增大，得到所述第二圖像區域集合。如此，能夠使得不同類別的第一圖像區域之間的差異更大，便于對待識別對象的行為類別進行判別。