[發明專利]一種基于關系圖分析的群體行為識別方法

有效

• 申請號: 201911036597.4
• 申請日: 2019-10-29
• 公開（公告）號: CN110796081B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 李楠楠;張世雄;趙翼飛;李若塵;李革;安欣賞;張偉民
• 申請（專利權）人: 深圳龍崗智能視聽研究院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V20/52;G06V10/77;G06V10/82;G06N3/0464;G06N3/091
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 萬學堂;魏振華

1.一種基于關系圖分析的群體行為識別方法，其特征在于，包括以下步驟：

S1：對包含群體行為事件的視頻序列進行稀疏抽樣得到視頻抽樣幀，作為對視頻事件的代表；

S2：通過目標檢測網絡和降維運算得到單幀抽樣幀人物目標特征，使用目標檢測網絡對抽樣幀P_s中的人物目標提取特征，提取特征過程即為把P_s輸入到目標檢測網絡進行前向計算，提取所述人物目標所在區域所對應最后一個卷積層的特征，作為人物目標的特征，記為F_a；然后使用一個全連接層，對F_a進行降維運算；

S3：根據個體之間的外貌和位置關系構建圖模型，對于所述抽樣幀P_s經過步驟S2處理完成后得到的所述視頻抽樣幀的人物目標外貌特征和位置坐標：構建關系網絡圖，其中即為降維后的特征l_i為人物目標所在區域中心坐標(x_i,y_i)，

具體地，對于N個人物目標，計算一個N*N的關系網絡圖G，其中和h_l(l_i,l_j)分別代表外貌和位置相似度，定義如下：

其中，(x_i,y_i)為人物目標所在區域中心坐標；以及

使用Softmax函數來歸一化目標i相對于目標j的關系，定義如下：

S4：利用圖卷積神經網絡提取單幀群體行為表述特征；以及

S5：通過對多幀群體行為特征進行融合得到整段視頻群體行為表述特征。

2.根據權利要求1所述的基于關系圖分析的群體行為識別方法，其特征在于，在步驟S1中，按照時間順序隨機抽樣或者均勻抽樣從所述視頻序列稀疏抽取若干幀。

3.根據權利要求1所述的基于關系圖分析的群體行為識別方法，其特征在于，在所述步驟S3中，N個人物目標間的關系網絡圖構建完成后，使用圖卷積神經網絡對單個人物目標特征進行加權融合，所述圖卷積神經網絡接收降維后特征和關系網絡圖作為輸入，輸出對單個人物目標加權融合特征，記為F_g，通過對抽樣幀P_s所有N個人物目標特征F_g取平均操作，可以得到P_s的單幀群體行為表述特征，記為

4.根據權利要求1所述的基于關系圖分析的群體行為識別方法，其特征在于，在所述步驟S5中，通過加和操作，將所有抽樣幀的群體行為表述特征進行按位求和，得到整段視頻的群體行為表述特征，記為F_v，以及F_v通過全連接層進行行為類別劃分，可以得到對整段視頻的分類結果，進行結果輸出。

5.根據權利要求4所述的基于關系圖分析的群體行為識別方法，其特征在于，其中，所述類別劃分中的分類損失函數定義如下：

其中，y^G為視頻群體行為類別真實值，為模型行為類別預測值，L₁為交叉熵損失函數。

6.一種基于關系圖分析的群體行為識別系統，其特征在于，包括單幀群體行為表述特征提取模塊和多幀行為表述特征融合與分類模塊，以及所述群體行為識別系統用于實現如權利要求如權利要求1-5中任一項所述的群體行為識別方法，其中，

所述單幀群體行為表述特征提取模塊，用于對稀疏抽樣得到的視頻幀提取群體行為表述特征；以及

所述多幀行為表述特征融合與分類模塊，用于對多張視頻抽樣幀提取的群體行為表述特征進行多幀融合和構建分類器來對視頻行為進行分類。