[發明專利]一種基于殘差聚合圖網絡的群體活動識別方法及系統

有效

• 申請號: 202210236706.2
• 申請日: 2022-03-10
• 公開（公告）號: CN114863356B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 李威;吳曉;楊添朝;張基
• 申請（專利權）人: 西南交通大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/80;G06V10/764;G06V10/82;G06F18/25;G06F18/24;G06F18/2415;G06N3/0464;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 黎飛

1.一種基于殘差聚合圖網絡的群體活動識別方法，其特征在于，包括以下步驟：

S1，外觀特征提取：利用給定的視頻片段的關鍵幀和相應每個個體的邊界框，得到待識別群體的個體級的外觀特征X，x_i∈R^D，其中，T表示視頻片段關鍵幀的幀數，N表示視頻片段中每個關鍵幀的個體數；i表示視頻片段關鍵幀中個體的編號，i＝1，2，…，T×N；x_i表示視頻片段中編號為i的個體的外觀特征，R表示實數域上的一個線性空間，D表示線性空間R的外觀特征維度；

S2，雙分支推理：將外觀特征進行基于殘差聚合的差異關系推理得到差異特征以及，將外觀特征分別進行基于圖神經網絡的相似關系推理得到關系特征X′；

S3，加權融合：將外觀特征、差異特征、關系特征在通道方向進行加權融合，得到加權特征

S4，群體活動預測：將加權特征進行池化操作，得到代表整個視頻片段的全局表示，然后進一步處理得到每一幀對于群體活動類別的置信度，用每一幀各類別置信度的平均值來對群體活動類別進行預測；

步驟S2中，將外觀特征進行基于殘差聚合的差異關系推理得到差異特征的公式為：

其中，j表示視頻片段中個體的編號，j＝1，2，…，T×N；表示第j個個體的差異特征，是差異特征的一個元素，r_i(x_j)表示個體j和個體i之間的殘差關系，表示個體j和個體i之間的空間位置相關性，x_j-x_i表示不同時空中的個體j和個體i之間的外觀特征差異；

步驟S3包括以下步驟，

S31，將外觀特征、差異特征、關系特征的元素相加得到整合后的特征，計算方式為：

其中，F表示整合后的特征，F∈R^T×N×D，b為分支編號；N_b表示分支數目，以上公式中N_b為3，X^l表示外觀特征、差異特征或關系特征，分別表示不同語義特征X、和X′；

S32，在通道方向使用全局平均池化和全連接層來嵌入全局信息，以生成通道統計信息，計算方式為：

其中，s表示通道統計信息，W_s表示可學習的用于將池化后的特征進行線性變換的參數，F(n，t，：)表示F中第t幀第n個個體在通道方向上的特征；

S33，通過全連接層和softmax操作得到通道方向上不同分支特征的權重，計算方式為：

W_b＝softmax(w_bS)；

其中，W_b為分支為b的特征的權重向量，w_b為對于分支b的將通道統計信息S映射為權重向量的可學的線性變換參數，

S34，計算對于加權融合的后的特征的通道方向上每一維特征，計算方式為：

其中，表示加權特征的第c個通道的值，表示第b分支的第c個通道維度上的特征的權重，為W_b第c個元素的值；表示第b分支的第c的通道維度上的特征的值，為X^b第c個元素的值。

2.根據權利要求1所述的一種基于殘差聚合圖網絡的群體活動識別方法，其特征在于，r_i(x_j)的計算公式為：

其中，w_j表示將以個體j為中心的兩個體之間的外觀差異映射為標量的權重、b_j表示將以個體j為中心的兩個體之間的外觀差異映射的標量進行偏移的偏置值，w_j∈R^D，b_j∈R¹。

3.根據權利要求2所述的一種基于殘差聚合圖網絡的群體活動識別方法，其特征在于，的計算公式為：

其中，Π(·)表示指示函數，表示個體j與個體i之間的歐式距離，μ表示空間限制因子。