[發明專利]一種基于圖神經網絡的群體行為識別方法

有效

• 申請號: 202010437098.2
• 申請日: 2020-05-21
• 公開（公告）號: CN111598032B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 鄭偉詩;黃嘉勝
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/047;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于圖神經網絡的群體行為識別方法，其特征在于，包括以下步驟：

特征提取，對單位時間視頻端的個體進行檢測，并依據檢測到個體的位置，在空間和時間上進行視頻切片，然后將視頻切片輸入到三維殘差卷積網絡進行特征提取，獲取每個個體的特征表達與整個場景特征表達；

生成虛圖，根據得到的每個個體的特征表達與場景特征表達，將每個個體視為圖的一個節點，計為實節點，將所有實節點兩兩相連，得到全連接的無向圖，在無向圖中引入虛節點，將虛節點與原圖中的節點連接，形成虛圖；

對多個圖進行虛擬節點引入形成的虛圖進行圖神經網絡的更新，更新后的圖神經網絡層具有充分的特征表達能力；所述圖神經網絡的更新具體為：

對所有節點特征進行一個線性變換，每個節點特征線性變換后得到的特征y_i表示為：

y_i＝Θx_i

其中Θ為一個所有節點共享的線性變換矩陣，x_i為節點特征,Θ∈R^F′xF，x_i∈R^F，y_i∈R^F′，R代表實數空間，其右上角上標為實數空間的維度，R^F代表其為F維的實數空間，R^F′代表其為F′維的實數空間，R^F′xF代表其為F′xF維的實數空間；Θ是一個可學習的參數，由所有節點特征共享；

構建圖神經網絡，表達圖神經網絡層，根據圖神經網絡層的表達式構建圖神經網絡模型；所述構建圖神經網絡具體為：

構建圖神經網絡層，用如下公式表示：

其中Θ∈R^F′xF，a∈R^3F′為學習參數；β_ij為α_ij未進行歸一化時的數值；

圖神經網絡層將虛圖的節點特征集合X作為輸入，將新的節點特征集合X′作為輸出，將其抽象為：

X′＝f(X)

將n個圖神經網絡層疊加，將當前層的輸出作為下一層的輸入，則圖神經網絡第L層表示為：

X^L＝f^L(X^L-1)

其中1L≤n，X^L-1為第L層輸入的節點特征集合；為表征整個圖的特征，將最后一層圖神經網絡層輸出的所有節點特征進行平均，作為該圖的全局特征h_graph，表示如下：

其中N為圖節點的個數，Xⁿ為圖神經網絡第n層的節點特征集合；

群體行為識別，將完整的虛圖導入到圖神經網絡模型，進行非線性變換歸一化處理，對預測類標和真實類標進行誤差計算。

2.根據權利要求1所述的一種基于圖神經網絡的群體行為識別方法，其特征在于，所述特征提取具體為：

對于單位時間的視頻段，隨機采樣圖像并按時間順序排列；

將最后一幀圖像送進yolo-v3檢測網絡，得到多個包含個體的檢測框；

對于每個個體的檢測框，按照檢測框的位置和大小，對隨機抽取圖片進行截取；

對每個截取的分割圖，對其大小進行改變并將多張同個檢測框的分割圖按時間順序疊加，得到圖像塊；

將圖像塊送入三維殘差卷積神經網絡進行特征提取，特征取殘差網絡最后一個池化層的輸出，特征維度為512維。

3.根據權利要求2所述的一種基于圖神經網絡的群體行為識別方法，其特征在于，所述yolo-v3使用的是經過COCO數據庫預訓練的參數；所述三維殘差卷積神經網絡使用經過Kinetics預訓練的34層三維殘差卷積網絡參數。