[發明專利]一種時空交織的行為識別網絡模型構建方法及裝置

在審

• 申請號: 202310605077.0
• 申請日: 2023-05-26
• 公開（公告）號: CN116612352A
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 姜勝芹;王慶;蔣子凌;劉青山
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/776;G06V10/82;G06V10/80;G06V20/40;G06N3/045;G06N3/0464;G06N3/09
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李淑靜

本發明公開了一種時空交織的行為識別網絡模型構建方法及裝置，所述方法包括：加載視頻數據并提取視頻幀，對視頻幀進行隨機裁剪和隨機水平翻轉，得到模型的輸入數據集，將數據集劃分為訓練集、驗證集和測試集；確定時空交織行為識別網絡模型結構，該結構包括依次連接的基網絡、交互特征協同模塊、并行增強偽3D模塊和時空差分注意力模塊；利用訓練集中的數據對時空交織行為識別網絡模型進行網絡訓練，利用驗證集中的數據評估模型，一旦找到最佳的參數，則保存最優模型；利用測試集中的數據對最優模型進行測試。本發明在降低計算復雜度的基礎上提高對行為識別的精度。

技術領域

本發明涉及計算機視覺處理領域，更具體而言涉及一種用于視覺處理的行為識別網絡的構建。

背景技術

行為識別是一項基本但十分重要的視覺任務，在實際應用中涉及諸多領域，諸如虛擬現實、增強現實、安防、體育分析、自動駕駛等領域。在這些領域中，可通過行為分析技術實現智能監控、視頻內容檢索、運動互動分析等功能。

盡管現有的行為識別模型在識別精度上已經取得了很顯著的成就，但它們往往都是以不斷增加的計算復雜度為代價。因此，如果將這些復雜的大模型部署到計算能力有限且對實時性要求較高的平臺上，如自動駕駛汽車平臺，這將會是一項很嚴峻的挑戰。

解決此問題一個最常用的方法就是將3D卷積核解耦成兩個偽3D卷積，分別是1×3×3的空間偽3D卷積和3×1×1的時間偽3D卷積。這種方式會顯著降低網絡的參數，且模型易收斂。然而，偽3D卷積的簡單堆疊容易忽視時空特征之間的相互作用，進而導致最終的性能增加有限。因此，需要一種高效且高精度的行為識別網絡。

發明內容

發明目的：本發明的目的是提供一種時空交織的行為識別網絡模型構建方法及裝置，解決偽3D卷積神經網絡只注重降低計算復雜度而忽略時空特征之間的交互作用，進而限制其性能表現的問題。

技術方案：第一方面，本發明提供一種時空交織的行為識別網絡模型構建方法，包括以下步驟：

加載視頻數據并提取視頻幀，對視頻幀進行隨機裁剪和隨機水平翻轉，得到模型的輸入數據集，將數據集劃分為訓練集、驗證集和測試集；

確定時空交織行為識別網絡模型結構，該結構包括基網絡、交互特征協同模塊、并行增強偽3D模塊、時空差分注意力模塊和分類器，其中基網絡接受視頻幀輸入并提取基特征；交互特征協同模塊通過對基特征進行兩輪不同的卷積和拼接操作，提取出具有辨別力的時空特征；并行增強偽3D模塊通過對時空特征進行并行卷積、拼接和細化操作，提取出增強的時空特征；時空差分注意力模塊通過對增強的時空特征進行池化操作并引入注意力機制來抑制不同維度的冗余特征，獲得最終增強的特征；分類器基于最終增強的特征完成分類識別；

利用訓練集中的數據對時空交織行為識別網絡模型進行網絡訓練，利用驗證集中的數據評估模型，一旦找到最佳的參數，則保存最優模型；

利用測試集中的數據對最優模型進行測試。

第二方面，本發明還提供一種時空交織的行為識別網絡模型構建裝置，包括：

數據準備模塊，用于加載視頻數據并提取視頻幀，對視頻幀進行隨機裁剪和隨機水平翻轉，得到模型的輸入數據集，將數據集劃分為訓練集、驗證集和測試集；

模型建立模塊，用于確定時空交織行為識別網絡模型結構，該結構包括基網絡、交互特征協同模塊、并行增強偽3D模塊、時空差分注意力模塊和分類器，其中基網絡接受視頻幀輸入并提取基特征；交互特征協同模塊通過對基特征進行兩輪不同的卷積和拼接操作，提取出具有辨別力的時空特征；并行增強偽3D模塊通過對時空特征進行并行卷積、拼接和細化操作，提取出增強的時空特征；時空差分注意力模塊通過對增強的時空特征進行池化操作并引入注意力機制來抑制不同維度的冗余特征，獲得最終增強的特征；分類器基于最終增強的特征完成分類識別；