[發明專利]一種多尺度群體行為識別方法、系統和可讀存儲介質

在審

• 申請號: 202310173591.1
• 申請日: 2023-02-28
• 公開（公告）號: CN116486322A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 劉恒九;李巖山
• 申請（專利權）人: 深圳大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京東和長優知識產權代理事務所(普通合伙) 11564
• 代理人: 周捷;吳強

1.一種多尺度群體行為識別方法，其特征在于，包括：

獲取監控視頻數據；

將所述監控視頻數據輸入至預設群體行為的多尺度語義模型進行分析，得到人體關鍵點坐標的關鍵點特征；

根據所述關鍵點特征進行分析，得到當前尺度下所述關鍵點特征的注意力機制計算結果數據X'_si；

根據所述關鍵點特征的注意力機制計算結果數據X'_si進行分析，得到所述監控視頻數據的群體行為的跨尺度表示

根據所述群體行為的跨尺度表示進行分析，得到群體行為識別數據。

2.根據權利要求1所述的一種多尺度群體行為識別方法，其特征在于，還包括：

獲取歷史圖像數據；

對所述歷史圖像數據進行分析，得到多個關鍵點坐標特征；

對所述多個關鍵點坐標特征進行整合拼接，得到關鍵點特征

將所述關鍵點特征映射至特征空間，得到在關鍵點尺度下的語義令牌X_s1；

通過轉換關鍵點令牌維度得到并對所述關鍵點令牌維度進行降維，得到個體尺度下的語義令牌X_s2；

根據所述個體尺度下的語義令牌X_s2創建多個副本，并對所述多個副本進行復制拼接得到個體間交互尺度下的語義令牌X_s3；

將所述關鍵點尺度下的語義令牌X_s1、個體尺度下的語義令牌X_s2和個體間交互尺度下的語義令牌X_s3合并，得到預設群體行為的多尺度語義模型X。

3.根據權利要求1所述的一種多尺度群體行為識別方法，其特征在于，所述根據所述關鍵點特征進行分析，得到當前尺度下所述關鍵點特征的注意力機制計算結果數據X'_si，包括：

根據所述人體關鍵點坐標的關鍵點特征進行分析，得到當前尺度下的語義令牌；

通過第一預設方法對所述語義令牌進行計算，得到當前尺度下的語義令牌的自注意力系數；

將所述當前尺度下的語義令牌的自注意力系數聚合到相對應的語義令牌特征中，得到當前尺度下的自注意力機制計算結果數據X'_si。

4.根據權利要求1所述的一種多尺度群體行為識別方法，其特征在于，所述根據所述關鍵點特征的注意力機制計算結果數據X'_si進行分析，得到所述監控視頻數據的群體行為的跨尺度表示包括：

將所述當前尺度下的注意力機制計算結果數據X'_si分別與相對應的編碼器輸入的X_si進行計算，將得到的計算結果進行歸一化操作并發送至前饋神經網絡；

將所述計算結果與所述前饋神經網絡的計算結果進行加法運算并進行歸一化操作，得到單個尺度下的群體行為表示

對所述單個尺度下的群體行為表示進行整合得到群體行為的跨尺度表示

5.根據權利要求1所述的一種多尺度群體行為識別方法，其特征在于，還包括：

獲取對應尺度的令牌；

將所述對應尺度的令牌與上一個編碼器的推理結果相拼接，并將得到的拼接數據轉換為跨尺度特征；

將所述跨尺度特征輸入至與所述令牌相對應的編碼器中進行分析，得到群體行為的跨尺度語義令牌X_sj。

6.根據權利要求1所述的一種多尺度群體行為識別方法，其特征在于，所述根據所述群體行為的跨尺度表示進行分析，得到群體行為識別數據，包括：

根據所述群體行為的跨尺度表示進行分析，得到所述群體行為的群體行為特征映射

根據第二預設方法對所述群體行為的群體行為特征映射進行分析，得到所述群體行為的跨尺度映射結果；

根據所述群體行為的跨尺度映射結果結合所述群體行為的跨尺度表示對群體行為進行識別，得到群體行為識別數據。