[發(fā)明專利]一種基于圖神經(jīng)網(wǎng)絡(luò)的群體行為識別方法

有效

• 申請?zhí)枺?/td>: 202010437098.2
• 申請日: 2020-05-21
• 公開（公告）號: CN111598032B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 鄭偉詩;黃嘉勝
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/047;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開了一種基于圖神經(jīng)網(wǎng)絡(luò)的群體行為識別方法，方法包括以下步驟：特征提取，對單位時間內(nèi)視頻段的個體視覺特征進(jìn)行提取，獲取每個人的特征表達(dá)與整個場景特征表達(dá)；生成虛圖，根據(jù)得到的每個人的特征表達(dá)與場景特征表達(dá)生成全連接的無向圖，在無向圖中引入虛節(jié)點，生成虛圖；圖神經(jīng)網(wǎng)絡(luò)更新，對虛圖進(jìn)行圖神經(jīng)網(wǎng)絡(luò)更新；構(gòu)建圖神經(jīng)網(wǎng)絡(luò)，根據(jù)圖神經(jīng)網(wǎng)絡(luò)層構(gòu)建圖神經(jīng)網(wǎng)絡(luò)模型；群體行為識別，將完整的虛圖導(dǎo)入到圖神經(jīng)網(wǎng)絡(luò)，對預(yù)測類標(biāo)和真實類標(biāo)進(jìn)行誤差計算。本發(fā)明定義了一種新型的基于虛節(jié)點的圖神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)到視頻中豐富的時間空間特征，從而幫助對視頻中的群體行為進(jìn)行準(zhǔn)確的識別。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺領(lǐng)域，具體涉及一種基于圖神經(jīng)網(wǎng)絡(luò)的群體行為識別方法。

背景技術(shù)

給定一段視頻，智能識別系統(tǒng)需要對該段視頻中所涉及的群體行為進(jìn)行識別。這涉及對視頻中的內(nèi)容在空間上和時間上進(jìn)行分析。

目前主要的識別方法是將視頻片段輸入一個三維卷積神經(jīng)網(wǎng)絡(luò)，由三維卷積神經(jīng)網(wǎng)絡(luò)在三維空間里進(jìn)行特征提取，并直接輸出對視頻的識別結(jié)果。或者抽取視頻中的多幀圖片，對每幀圖片都輸入一個二維卷積神經(jīng)網(wǎng)絡(luò)，由二維卷積神經(jīng)網(wǎng)絡(luò)對每幀圖片進(jìn)行識別結(jié)果判別，并平均多個幀的識別結(jié)果作為最終結(jié)果。

一般的識別方法無論用的是二維卷積神經(jīng)網(wǎng)絡(luò)還是三維卷積神經(jīng)網(wǎng)絡(luò)，都存在一定的不足。對二維卷積神經(jīng)網(wǎng)絡(luò)來說，對幀進(jìn)行特征提取，每次輸入二維卷積網(wǎng)絡(luò)只有一幀圖像，所得到特征缺少時間維度的信息。三維卷積神經(jīng)網(wǎng)絡(luò)解決了二維卷積神經(jīng)網(wǎng)絡(luò)時間維度上的不足，但這種時間維度缺少在不同時刻上的信息交流。并且，兩者都由于輸入為整張圖片或整個視頻片段，因此是基于全局的特征，缺少對局部關(guān)鍵信息、各個局部信息之間互相影響、各個局部信息和整體信息互相影響的刻畫，如人與人互動的信息和人與環(huán)境互動信息的刻畫。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點與不足，提出一種基于圖神經(jīng)網(wǎng)絡(luò)的群體行為識別方法；本發(fā)明定義了一種新型的基于虛節(jié)點的圖神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)到視頻中豐富的時間空間特征，從而幫助對視頻中的群體行為進(jìn)行準(zhǔn)確的識別。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于圖神經(jīng)網(wǎng)絡(luò)的群體行為識別方法，包括以下步驟：

特征提取，對單位時間視頻端的個體進(jìn)行檢測，并依據(jù)檢測到個體的位置，在空間和時間上進(jìn)行視頻切片，然后將視頻切片輸入到三維殘差卷積網(wǎng)絡(luò)進(jìn)行特征提取，獲取每個個體的特征表達(dá)與整個場景特征表達(dá)；

生成虛圖，根據(jù)得到的每個個體的特征表達(dá)與場景特征表達(dá)，將每個個體視為圖的一個節(jié)點，計為實節(jié)點，將所有實節(jié)點兩兩相連，得到全連接的無向圖，在無向圖中引入虛節(jié)點，將虛節(jié)點與原圖中的節(jié)點連接，形成虛圖；

對多個圖進(jìn)行虛擬節(jié)點引入形成的虛圖進(jìn)行圖神經(jīng)網(wǎng)絡(luò)的更新，更新后的圖神經(jīng)網(wǎng)絡(luò)層具有充分的特征表達(dá)能力；

構(gòu)建圖神經(jīng)網(wǎng)絡(luò)，表達(dá)圖神經(jīng)網(wǎng)絡(luò)層，根據(jù)圖神經(jīng)網(wǎng)絡(luò)層的表達(dá)式構(gòu)建圖神經(jīng)網(wǎng)絡(luò)模型；

群體行為識別，將完整的虛圖導(dǎo)入到圖神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行非線性變換歸一化處理，對預(yù)測類標(biāo)和真實類標(biāo)進(jìn)行誤差計算。

進(jìn)一步的，所述特征提取具體為：

對于單位時間的視頻段，隨機(jī)采樣圖像并按時間順序排列；

將最后一幀圖像送進(jìn)yolo-v3檢測網(wǎng)絡(luò)，得到多個包含個體的檢測框；

對于每個個體的檢測框，按照檢測框的位置和大小，對隨機(jī)抽取圖片進(jìn)行截取；

對每個截取的分割圖，對其大小進(jìn)行改變并將多張同個檢測框的分割圖按時間順序疊加，得到圖像塊；

將圖像塊送入三維殘差卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，特征取殘差網(wǎng)絡(luò)最后一個池化層的輸出，特征維度為512維。