[發明專利]一種基于時空序列模型的視頻行為識別系統及方法

在審

• 申請號: 202210403948.6
• 申請日: 2022-04-18
• 公開（公告）號: CN114743144A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 張艷平;于永新
• 申請（專利權）人: 天津大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/56;G06V10/62;G06V10/764;G06V10/82;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

本發明公開了一種基于時空序列模型的視頻行為識別系統及方法，包括亮度流采樣模塊，時間建模模塊，空間建模模塊以及分類輸出模塊。所述亮度流采樣模塊用于對視頻文件或者視頻流進行亮度數據采樣，并作為神經網絡的輸入；所述時間建模模塊用于對時空特征數據進行時間建模；所述空間建模模塊用于對時空特征數據進行空間建模；所述分類輸出模塊將時空特征數據進行分類和融合，得到整個視頻的分類結果。本發明通過亮度流采樣模塊解決了RGB輸入模式識別率低的問題；通過時空序列建模解決了3D時空建模方法復雜度高，運行速度慢，以及識別準確率低的問題。

技術領域

本發明屬于視頻行為識別技術領域，具體涉及一種基于時空序列建模的視頻行為識別方法。

背景技術

信息時代時刻都產生著大量的視頻數據。邊緣計算和通信技術的發展使得視頻任務的重要性日益提升。在視頻任務中，行為識別處于核心地位。行為識別(ActionRecognition)的目的是判斷一段視頻中人的行為類別。隨著行業的發展，對行為識別的要求變得越來越高，比如自動駕駛等。與圖像相比，視頻多了一維時序信息，如何利用好視頻時序信息是行為識別的關鍵。

在視頻行為識別領域，通過3D網絡進行時空建模是最常見的方法，如I3D、X3D等。3D網絡取得了不錯的效果，但是3D網絡參數多、計算量大以及內存消耗多，從而限制了其實用性。另外一些方法通過雙流網絡分別對空間和時間進行建模，其分別訓練RGB輸入(空間流)和光流輸入(時間流)，最后在兩個數據流上取平均值來獲取最終的預測結果。雙流網絡被證實是有效的，但是光流計算需要巨大的計算量和存儲空間，且難以滿足視頻實時性需求，導致光流的應用受到限制。另外一些研究者提出(2+1)D網絡，即將3D網絡分解成為2D空間網絡和1D時間網絡。通過對3D網絡進行分解，將3D卷積核大小從m*n*t降低到m*n+t(m和n是空間卷積核大小，t是時間卷積核大小)，并取得了和3D網絡相媲美的識別效果。對于(2+1)D網絡，空間網絡可以在圖像數據集進行預訓練，獲得空間網絡的初始參數。但(2+1)D網絡并沒有探索時間網絡參數的初始化方法，從而導致整個網絡模型并不一定是最優的。

發明內容

本發明提出一種基于時空序列模型的視頻行為識別方法，對時空特征數據進行時間建模、空間建模、分類和融合，得到整個視頻的分類結果。

本發明采用以下技術方案實現：

一種基于時空序列模型的視頻行為識別方法，該方法包括以下步驟：

步驟1、YCbCr數據分段采樣：對視頻文件或者視頻流進行亮度數據采樣，具體為：從視頻文件或視頻流獲得YCbCr顏色空間數據；對YCbCr顏色空間數據進行分段和采樣，提取亮度分量數據；相關模型描述如下：

將得到YCbCr數據{f₁，f₂，...，f_N}平均分成T段，從每一段中隨機采樣連續的3幀YCbCr數據，表達式如下：

{f₁，f₂，...，f_N}＝{{f₁，f₂，...，f_n}，{f_n+1，f_n+2，...，f_2n}，...，{f_(T-1)n+1，f_(T-1)n+2，...，f_N}}

其中，S表示隨機函數，k表示段，表示從第k段中隨機采樣的連續3幀YCbCr數據，n表示每段包含的幀數；

對于壓縮格式的視頻文件和視頻流，則需要先將視頻文件或視頻流進行解碼，得到視頻顏色空間YCbCr數據，表達式如下：

{f₁，f₂，...，f_N}＝Decode(input)