[發明專利]基于時間增強圖卷積網絡的行為識別方法、裝置及介質

有效

• 申請號: 202011511511.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112560712B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 謝雪梅;李佳楠;趙至夫;曹玉晗;潘慶哲;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 西安知誠思邁知識產權代理事務所(普通合伙) 61237
• 代理人: 閔媛媛

本發明公開了一種基于時間增強圖卷積網絡的行為識別方法、裝置及介質，識別方法具體為：設計動態的時間結構圖的點信息；構建時間結構圖的邊連接，完成動態的時間結構圖；構建時間增強圖卷積模塊；構建時間增強圖卷積網絡；訓練時間增強圖卷積網絡；對視頻中人的行為進行識別。本發明能夠獲取長時間依賴關系以及時間維度結構信息，提高了行為識別的準確性，同時具有較強的適用性，解決了現有技術中存在的問題。

技術領域

本發明屬于視頻處理技術領域，涉及一種基于時間增強圖卷積網絡的行為識別方法、裝置及介質，可廣泛應用于視頻檢索，人機交互以及視頻理解。

背景技術

行為識別是給定一個視頻片段，通過分析視頻里人的時空動態特征，判斷其表現的動作類別。按照輸入數據模態的不同，行為識別被分為兩大類：基于骨架的行為識別和基于RGB圖像的行為識別。相比于RGB模態，骨架模態具有存儲量少，對環境變化魯棒性強等優點。并且骨架是人體的抽象表示，所以骨架模態可以很好的適用于人體行為識別。目前骨架模態的行為識別方法主要有三種實現方式：循環神經網絡，卷積神經網絡和圖卷積網絡。基于循環神經網絡和卷積神經網絡的方法首先需要把原始的骨架數據轉換為歐幾里得空間下的數據然后再用網絡進行特征提取。因為骨架數據是圖結構形式的而非歐幾里得空間下，上述方法不能充分利用骨架數據的結構信息。圖卷積網絡可以直接對圖結構的骨架數據進行特征提取從而保持了其結構信息。

Sijie?Yan在其發表的論文“Spatial?Temporal?Graph?Convolutional?Networksfor?Skeleton-based?Action?Recognition”(Thirty-Second?AAAI?Conference?onArtificial?Intelligence(AAAI),2018)中提出了一種基于時空圖卷積網絡的行為識別方法。該方法將骨架數據構造為骨架圖結構，骨架圖的頂點是骨架點，邊是按照人體自然連接的骨頭。除此之外，Lei?Shi在其發表的論文“Two-Stream?Adaptive?Graph?ConvolutionalNetworks?for?Skeleton-Based?Action?Recognition”(IEEE?Conference?on?ComputerVision?and?Pattern?Recognition(CVPR),2019)中提出了一種自適應圖結構，以便提取到骨架數據更豐富的結構信息。為了提取視頻的時空特征，此類方法通常先利用圖卷積來提取空間信息，然后再使用一維時間卷積對時間動態進行建模。該方法存在的不足是：沒有充分考慮如何對時間動態的結構信息進行建模，難以提取到長時及短時的動態時間關系。

發明專利(申請號201910967740.5，名稱：基于知識嵌入圖卷積網絡的雙人交互識別方法)公開了一種知識嵌入的圖卷積網絡的雙人交互行為識別方法。該方法在知識的引導下建立了知識學習圖和知識給定圖，以便充分提取到骨架數據在雙人交互任務下的空間結構信息。因為該發明所構建的知識引導圖結構是單獨對每一幀骨架數據進行處理，對于時間維度信息只是利用普通的一維卷積提取時間動態，所以該方法存在的不足是：對于時間跨度長的視頻，只能通過層級地堆疊多個一維卷積提取視頻的長時依賴關系。這種方法會過分關注局部時間信息從而導致關鍵的遠距離分離時間信息被忽略，因此對行為識別的準確率產生消極影響。

發明內容

為了解決上述問題，本發明提供一種基于時間增強圖卷積網絡的行為識別方法、裝置及介質，能夠獲取長時間依賴關系以及時間維度結構信息，提高了行為識別的準確性，同時具有較強的適用性，解決了現有技術中存在的問題。

本發明所采用的技術方案是，一種基于時間增強圖卷積網絡的行為識別方法，具體按照以下步驟進行：

S1，設計動態的時間結構圖的點信息：