[發明專利]一種多尺度群體行為識別方法、系統和可讀存儲介質

在審

• 申請號: 202310173591.1
• 申請日: 2023-02-28
• 公開（公告）號: CN116486322A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 劉恒九;李巖山
• 申請（專利權）人: 深圳大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京東和長優知識產權代理事務所(普通合伙) 11564
• 代理人: 周捷;吳強

本發明公開的一種多尺度群體行為識別方法、系統和可讀存儲介質，所述方法包括：獲取監控視頻數據；將所述監控視頻數據輸入至預設群體行為的多尺度語義模型進行分析，得到人體關鍵點坐標的關鍵點特征；根據所述關鍵點特征進行分析，得到當前尺度下所述關鍵點特征的注意力機制計算結果數據；根據所述關鍵點特征的注意力機制計算結果數據進行分析，得到所述監控視頻數據的群體行為的跨尺度表示；根據所述群體行為的跨尺度表示進行分析，得到群體行為識別數據。本發明通過預設模型可以提取不同尺度下的群體行為語義特征的同時使用動態自注意力機制捕捉更加關鍵的群體語義特征，另外，還通過引入簡潔的對比學習方法輔助學習群體行為。

技術領域

本申請涉及數據處理和數據傳輸領域，更具體的，涉及一種多尺度群體行為識別方法、系統和可讀存儲介質。

背景技術

群體行為識別(GAR)是一項在視頻片段中檢測一組參與者集體行為的任務。近年來，群體行為識別廣泛應用于街角監控視頻和體育視頻等多種背景下的視頻分析任務中。目前，群體行為識別主要面臨三項挑戰：(1)場景內群組的分析建?！，F有研究表明，群體行為通常由群體中少數參與者的個體行為組合表示，構建復雜場景中的行為分組表示或探索群體中的子群體劃分方法有助于群體行為分析；(2)行為實體間的互動關系建?！，F有方法采用深度學習建模群體的互動關系，并以此分析群體中行為實體之間的相對重要性。(3)群體的多尺度建模。近期研究結果表明，群體內的互動關系是多尺度的，個體可以與子群體發生互動，個體也可以響應其他個體繼而產生某些肢體行為。例如在排球活動中，一個球員的擊球行為可以導致對方半場的部分或所有球員產生響應，一個球員的手部擊球行為也可以導致對方半場的部分或所有球員產生相應反應?，F有的方法大多切入上述挑戰中的一項或兩項進行研究，通過分析參與者的個體活動或群組的精細劃分進而研究群體行為。

現有方法中，基于圖神經網絡的方法是群體行為識別中的一種常用方法?；趫D網絡的方法主要基于視覺特征推理群體行為，以參與者的視覺特征為輸入圖節點，以手工方法定義節點間互動關系，以預定義參與者間的互動模式為圖的臨接表，通過聚合參與者的視覺特征和參與者間的互動模式表示群體行為。雖然基于圖的方法行之有效，但由于群體行為發生在復雜場景內，在構建群體的圖結構時，簡單采用無向圖或有向圖的方法不足以充分描述群體行為的全過程。在愈加復雜的行為場景下定義互動關系時，基于圖的方法還需要引入額外的更加復雜的深度學習方法進行適應。

因此現有技術存在缺陷，急需改進。

發明內容

鑒于上述問題，本發明的目的是提供一種多尺度群體行為識別方法、系統和可讀存儲介質，能夠更有效更快速的對群體行為進行識別。

本發明第一方面提供了一種多尺度群體行為識別方法，包括：

獲取監控視頻數據；

將所述監控視頻數據輸入至預設群體行為的多尺度語義模型進行分析，得到人體關鍵點坐標的關鍵點特征；

根據所述關鍵點特征進行分析，得到當前尺度下所述關鍵點特征的注意力機制計算結果數據X′_si；

根據所述關鍵點特征的注意力機制計算結果數據X′_si進行分析，得到所述監控視頻數據的群體行為的跨尺度表示

根據所述群體行為的跨尺度表示進行分析，得到群體行為識別數據。

本方案中，還包括：

獲取歷史圖像數據；

對所述歷史圖像數據進行分析，得到多個關鍵點坐標特征；

對所述多個關鍵點坐標特征進行整合拼接，得到關鍵點特征

將所述關鍵點特征映射至特征空間，得到在關鍵點尺度下的語義令牌X_s1；