[發明專利]一種自下而上-自上而下的行為識別系統

在審

• 申請號: 201910064508.0
• 申請日: 2019-01-23
• 公開（公告）號: CN109858419A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 招繼恩;朱勇杰;王國良;張海;譚大倫;周明
• 申請（專利權）人: 廣州智慧城市發展研究院;中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 譚昉

本發明公開了一種自下而上?自上而下的行為識別系統，包括SBTA模塊和STBTA模塊；所述SBTA模塊和STBTA模塊通過自下而上自上而下機制和注意機制對局部特征和全局信息進行編碼。本發明的模塊可以直接在圖像或場景中適當的區域捕獲長程依賴；使用最大池和平均池來生成通道統計和空間網格統計；提高其對信息功能的敏感度并選擇有用的信息，不僅可以選擇聚焦位置，還可以增強該位置對象的不同表示；本發明提出的方法是前饋方式，可以作為一種有效，簡單和可解釋的方法直接插入到2D/3D CNN中；即使只有STBA和STBTA，在性能上實現了很好的提升。

技術領域

本發明涉及行為識別，具體涉及一種自下而上-自上而下的行為識別系統。

背景技術

目前，視頻中的人類動作識別在計算機視覺中占據重要地位，并引起了廣泛關注?；贑NN的方法在圖像分類方面取得了很大進展。此外，與標記的視頻數據相比，圖像分類任務有更多標記圖像來訓練網絡。鑒于這兩點，許多方法通過基于圖像的分類方法組合來自視頻的圖像的預測以對視頻進行分類。 然而，視頻不僅擁有與幀之中和之間的人類動作相關的許多無關信息，而且還包括沿幀的更多時間信息， 即長范圍時間依賴。

在視覺任務中，一些方法試圖捕獲長范圍依賴依賴。一些模塊使用單獨的主干，以多種分辨率獨立處理圖像，并在網絡中進行多尺度融合，這種方法比較有效但是很耗時。非局部神經網絡使用非本地方式有效地捕獲全局信息，但是有高內存成本并且只能放入神經網絡中的中間層或最后的層。 在不同領域如如動作檢測和圖像分割，也需要更好地探索自下而上-自上而下的機制和特定任務的注意力機制。

現有的技術方案一為Stacked Hourglass Networks（SHN），SHN重復自下而上，自上而下的處理過程，通過中間監督來改善人體姿態估計的性能，使用具有跳過層的單個管道來保留每個分辨率的空間信息。但更大的區域通常包括不相關的信息和特征圖之間的重復信息，而SHN認為它們的重要性一樣。

現有的技術方案二為Temporal Segment Networks(TSN), TSN使用多個并行的子網絡，子網絡之間共享權值，在網絡的最后一層進行特征融合，可以有效的獲取時間上的長范圍依賴。其中原始的輸入為視頻，解碼成圖像之后分為三段，從每段中隨機選擇一幀， 經過數據增強后輸入網絡。

現有的技術方案一SHN使用中間監督信息來考慮單人的姿勢識別問題，模塊的設計主要限制與解決姿勢識別的問題，沒有考慮行為識別中背景信息和周邊信息的影響，在場景復雜及多人場景下表現效果較差。

現有的技術方案二TSN使用并行結構來捕捉長范圍時間依賴，忽略了空間上的長范圍依賴，在空間維度上僅使用基本的卷積和降采樣過程來捕捉長范圍空間依賴，存在大量視頻相鄰圖像之間的冗余信息和背景信息。

發明內容

本發明針對上述問題，提供了一種自下而上-自上而下的行為識別系統。

本發明采用的技術方案是：一種自下而上-自上而下的行為識別系統，包括SBTA模塊和STBTA模塊；所述SBTA模塊和STBTA模塊通過自下而上自上而下機制和注意機制對局部特征和全局信息進行編碼；

自下而上自上而下機制為對特征圖進行逐層下采樣后逐層上采樣，通過殘差聯接保留多尺度學習，并具有科學系參數。

進一步地，所述系統最大池化層用于將特征處理到非常低的分辨率；任何相鄰層之間均存在殘差連接模塊，在此模塊中首先對輸入功能進行三次下采樣，在達到最低分辨率后，網絡開始按比例進行雙線性上采樣并對相應特征進行組合；此外，增加了空間和時間注意力模塊，以強調關鍵局部區域的功能，進一步提高網絡性能；整個模塊類似與一個沙漏的設計，并且兩端是相互對稱的；整個模塊的輸出對于不同通道、不同空間位置點都賦予了不同權重。