[發明專利]基于多徑時空特征強化融合的三支流網絡行為識別方法

有效

• 申請號: 202010530501.6
• 申請日: 2020-06-11
• 公開（公告）號: CN111709351B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 孔軍;鄧浩陽;蔣敏
• 申請（專利權）人: 江南大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/80;G06V10/82;G06V10/764;G06N3/045;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;劉秋彤

基于多徑時空特征強化融合的三支流網絡行為識別方法。該方法采用一種基于時空雙流網絡的網絡框架，稱為多徑時空特征強化融合網絡。針對雙流網絡僅融合頂層時空特征導致的雙流信息利用不充分、特征融合階段位于全局采樣層之后導致特征融合交互不夠的問題，本發明利用壓縮雙線性算法，對來自雙流網絡多層對應時空特征進行降維，然后進行融合，在減少融合特征所需內存的同時，增加融合特征之間的交互，增強融合效果。此外，本發明在融合流中提出多尺度通道?空間注意力模塊，對融合特征中有效特征進行增強，對無效特征進行抑制。最后，本發明還結合時間分段網絡TSN的思想對視頻中長期時間信息進行捕捉，進一步提高了行為識別模型的魯棒性。

技術領域

本發明屬于機器視覺領域，特別涉及一種基于多徑時空特征強化融合的三支流網絡行為識別方法。

背景技術

隨著社會的發展，機器視覺領域的知識越來越多地被應用到實際生活中，而行為識別是機器視覺領域中一個重要的研究方向。行為識別可以應用于人機交互、醫療監護、視頻智能監控等場景中，但由于光照條件、物體遮擋、復雜背景、穿著衣物等因素的影響，行為識別還有許多需要解決的問題。目前存在的行為識別方法主要有(1)基于RGB視頻；(2)基于骨骼節點；(3)基于RGB+D視頻。由于RGB視頻數據獲取途徑較多，獲取成本較低，所以本發明選擇以RGB視頻為研究對象，以提取融合視頻中時間特征和空間特征為目的，提出包含獨特融合流的三支流網絡方法來有效識別人體行為。

目前，以RGB視頻作為數據進行行為識別的方法主要使用雙流網絡。在雙流網絡中，通過兩個分離卷積神經網絡中卷積操作的堆積來提取RGB圖像中的空間特征和光流圖片中的時間特征，最后對兩個網絡提取的頂層特征進行加權融合，得到最終的結果。但是傳統的雙流網絡仍然存在以下三個問題：(1)雙流網絡融合階段位于全局平均采樣層之后，而提取的特征經過全局平均采樣層之后存在信息損失的情況，如何最大化保留融合特征中的有效的信息是一個值得解決的問題；(2)雙流網絡僅融合網絡頂層的特征，而卷積神經網絡頂層特征雖然包含豐富的全局信息，但是缺少對行為分類也有幫助的局部信息；(3)雙流網絡對待融合特征上的各個部分使用相同的優先級，即使用相同的權重對特征的各個部分進行加權，而融合特征的各個部分對行為識別的分類的有效性是不相同的。

基于以上考慮，本發明提出一種基于多徑時空特征強化融合的三支流網絡行為識別方法。首先，將融合階段提前到全局平均采樣層之前，在信息損失發生之前使用壓縮雙線性算法對特征進行融合，最大化特征交互的同時減少融合所需計算量。其次，融合采用的特征選用包括來自網絡頂層在內的多層特征，保證有足夠的全局以及局部特征提供給行為識別。最后，提出多尺度注意力模塊對所得的融合特征各個部分進行優先級調整增強整個網絡的魯棒性。

發明內容

本發明的主要目的是提出一種基于多徑時空特征強化融合的三支流網絡行為識別方法,對傳統雙流網絡的多層對應的時空特征融合后進行增強，得到更具辨識性的信息，以進行更加高效的行為識別。

為了實現上述目的，本發明提供如下技術方案：

基于多徑時空特征強化融合的三支流網絡行為識別方法，步驟如下：

步驟一、獲取RGB幀：對于數據集中的每個視頻進行取幀處理，獲得RGB原始幀N+1為視頻總幀數；

步驟二、計算光流圖：應用TVL1算法對按時序排序的RGB原始幀f_rgb兩兩進行計算得到光流圖

步驟三、將視頻在時間尺度上分為k段：按時間順序將RGB原始幀f_rgb及光流圖f_opt各分為等長的k份，分別為和其中j＝{1,2,…,k},floor(·)表示向下取整函數，特別地，N₀＝0；

步驟四、構建包括k個并行時間分段網絡在內的多時間分段融合網絡，每個分段網絡包括一個空間流網絡、一個時間流網絡和一個融合流網絡。