[發明專利]基于多徑時空特征強化融合的三支流網絡行為識別方法

有效

• 申請號: 202010530501.6
• 申請日: 2020-06-11
• 公開（公告）號: CN111709351B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 孔軍;鄧浩陽;蔣敏
• 申請（專利權）人: 江南大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/80;G06V10/82;G06V10/764;G06N3/045;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;劉秋彤

1.基于多徑時空特征強化融合的三支流網絡行為識別方法，其特征在于，步驟如下：

步驟一、獲取RGB幀：對于數據集中的每個視頻進行取幀處理，獲得RGB原始幀N+1為視頻總幀數；

步驟二、計算光流圖：應用TVL1算法對按時序排序的RGB原始幀f_rgb兩兩進行計算得到光流圖

步驟三、將視頻在時間尺度上分為k段：按時間順序將RGB原始幀f_rgb及光流圖f_opt各分為等長的k份，分別為和其中j＝{1,2,…,k},floor(·)表示向下取整函數，N₀＝0；

步驟四、構建包括k個并行時間分段網絡在內的多時間分段融合網絡，每個分段網絡包括一個空間流網絡、一個時間流網絡和一個融合流網絡；

步驟五、對每個分段融合網絡分別計算空間流預測概率分布:針對第k個時間分段融合網絡，從第k段視頻原始幀中隨機選取一幀RGB圖片輸入雙流網絡中的空間流網絡中，從空間流網絡中最后M個卷積模塊輸出中得到多層空間特征空間流網絡最后輸出的結果就是空間流預測概率分布

步驟六、對每個分段融合網絡分別計算時間流預測概率分布:針對第k個時間分段融合網絡，從第k段視頻光流圖中選取時間上對應于步驟五中RGB圖片的連續五張光流圖片，輸入雙流網絡中的時間流網絡中，從時間流網絡中最后M個卷積模塊輸出中得到多層時間特征時間流網絡最后輸出的結果就是時間流預測概率分布

步驟七、時空特征融合：使用M個多徑壓縮雙線性融合模塊DCBF分別融合M對時間流網絡、空間流網絡對應層特征，得到M個壓縮時空特征；

步驟八、多徑特征融合：使用多徑壓縮雙線性融合模塊DCBF融合M個壓縮時空特征得到多徑壓縮時空特征；

所述步驟七、步驟八中多徑壓縮雙線性融合模塊DCBF的具體設計為：輸入數據為空間流網絡特定層的空間特征和時間流網絡對應的時間特征；首先使用壓縮雙線性算法對對應的空間特征、時間特征進行采樣，實現時間特征、空間特征的降維和雙線性融合，再經過一個卷積核為1×1的卷積層和一個卷積核為3×3的卷積層，兩個卷積層后面都分別接著一個歸一化模塊BN層和激活函數RuLU函數；

步驟九、使用注意力機制增強多徑壓縮時空特征：使用多尺度通道-空間注意力模塊對多徑壓縮時空特征進行特征權重調整，最后經過全局平均采樣層和全連接層，得到融合流預測概率分布

所述步驟九中多尺度通道-空間注意力模塊CSA的具體設計方法為：多尺度通道-空間注意力模塊由卷積塊注意力模塊CBAM改進而來，改進點有兩點：1)將空間注意力分支和通道注意力分支由序列連接改為了平行連接的方式；2)將CBAM中空間注意力中的單個卷積核改為多個不同的卷積核，確保賦予得到的特征的不同位置具有不同的感受野，并且根據特征的最大尺度，選用不同卷積核；

步驟十、重復上述步驟五到步驟九k次獲得對應視頻不同時間分段的k段預測結果

步驟十一、計算空間流最終預測概率分布P_spa、時間流最終預測概率分布P_tem和融合流最終預測概率分布P_fus：對三個流的各個時間分段結果進行融合，計算方法為加和平均；

所述步驟十一中空間流最終預測概率分布P_spa的具體計算方法為：對視頻時間尺度上各分段的空間流預測結果計算平均，計算公式為：時間流最終預測概率分布P_tem的具體計算方法為：對視頻時間尺度上各分段的時間流預測結果計算平均，計算公式為：融合流最終預測概率分布P_fus的具體計算方法為：對視頻時間尺度上各分段的融合流預測結果計算平均，計算公式為：

步驟十二、計算加權融合三個流的預測概率分布P：使用加權平均融合方法對三個最終預測概率分布進行融合。

2.根據權利要求1所述的基于多徑時空特征強化融合的三支流網絡行為識別方法，其特征在于，所述的空間流網絡和時間流網絡使用的是InceptionV3網絡，融合流網絡使用的多層特征來自于InceptionV3的頂層第10層網絡、中間層第9層網絡和中間層第8層網絡。