[發明專利]一種面向實時視頻流的邊緣環境行為識別系統

有效

• 申請號: 202110856044.4
• 申請日: 2021-07-28
• 公開（公告）號: CN113591674B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 翟仲毅;陳曉峰;趙嶺忠
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/20;G06V10/28;G06V10/75;G06V10/764;H04L65/60
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 陶平英

1.一種面向實時視頻流的邊緣環境行為識別系統，其特征在于，包括視頻流獲取模塊、視頻流存儲模塊、視頻流預處理模塊、緩存模塊、滑窗定位模塊、行為識別模塊和用戶界面模塊；

所述的視頻流獲取模塊用于實時獲取視頻流數據，并將獲取到的數據傳輸至視頻流存儲模塊和用戶界面模塊中，用戶界面模塊對原始獲得的視頻流數據進行顯示；

所述的視頻流存儲模塊接收視頻流獲取模塊獲取到的數據并保存；

所述的視頻流預處理模塊提取視頻流存儲模塊中存儲的數據，進行幀歸一化、裁剪、縮放、隨機生成樣本的數據增加和圖片翻轉增加數據多樣性處理，并將預處理后的數據輸入緩存模塊中進行緩存；

所述的滑窗定位模塊，采用彈性跳躍滑動窗口動作定位方法進行滑窗定位，讀取緩存模塊中的數據，并進行滑動策略的選擇，滑窗定位模塊將讀取到的新一幀數據輸入預先建立好的背景模型中，對比該幀與當前背景模型的相似度，若該幀判斷為背景幀，則更新背景模型；否則計算滑動窗口的滑動距離，尋找下一個動作的開始位置進行識別窗口的滑動，最終將識別窗口送入識別模型中；

所述的行為識別模塊，包括提取時空特征單元、特征優化單元和行為分類單元，提取時空特征單元對行為識別模塊接收到的識別窗口視頻幀序列進行特征提取，在特征圖數據庫中找到視頻幀對應的特征圖組成時序序列，并將找到的特征圖組成時序序列輸入特征優化單元中進行優化，優化后的特征圖組成時序序列送入行為識別模塊中，采用SoftMax激活函數完成視頻行為的分類，并將分類結果在用戶界面模塊中顯示。

2.根據權利要求1所述的一種面向實時視頻流的邊緣環境行為識別系統，其特征在于，所述的背景模塊，是采用混合高斯模型，利用像素在一段時間內大量樣本值的概率密度統計信息表示背景，對這些像素點建立各自的背景模塊，概率密度的計算公式如下：

公式(1)中，X_t為視頻幀特定空間位置(x,y)的像素點X的t時刻的歷史值，B為背景模式總數，η(·)是指高斯分布概率密度函數，ω_m,t為第m種背景模式下t時刻的高斯分布對應的權重，μ為均值，為第m種背景模式下t時刻的協方差，I為單位矩陣，協方差為第m種背景模式下t時刻的協方差矩陣；

每當有新一幀f_t+1輸入背景模塊中，f_t+1將與建立好的背景模型進行模式匹配，若幀中特定空間位置(x,y)的像素點X找到至少一個背景模式匹配，則標記X為背景像素點，即否則然后，將得到的分割了前景目標的二值化圖像M^t與M^t+1進行基于皮爾森相似度的相似度比較，相似度γ₁計算公式如式下：

公式(2)中，N為視頻幀中總像素點數，∑M^t指將t時刻輸入的幀圖像中的圖像所有特定空間位置(x,y)的二值化圖像M值進行相加，∑M^t·M^t+1是指將t時刻輸入的幀圖像的空間位置(x,y)的二值化圖像M值與t+1時刻輸入的幀圖像的空間位置(x,y)的二值化圖像M值相乘最后所有空間位置的結果相加，其他式子以此類推；

將計算得到的相似度與設定的閾值T進行比較，T通過在訓練背景模型時，使用高斯分布統計訓練集視頻中真實的背景窗口與其它類別窗口交界處幀間的相似度值的分布情況，并根據分布情況選擇合適的閾值，若相似度低于設定的閾值，則標記f_t+1屬于背景幀，此時，將背景模型在與幀f_t+1匹配過程中匹配的背景模式按照下述公式(3)更新各自的參數，未被匹配為背景模式，則ω、μ和σ²不變，最后像素點根據降序排序各自的模式并重新選擇前B個模式作為背景；

公式(3)中，ω_t+1為t+1時刻的高斯分布對應的權重，α為指權值更新率，M_t為t時刻分割了前景目標的二值化圖像，μ_t+1為t+1時刻的均值，η(·)是指高斯分布概率密度函數，X_t+1為視頻幀特定空間位置(x,y)的像素點X的t+1時刻的歷史值，為t+1時刻的協方差，T為轉置操作；

背景模型更新完成后，繼續讀取新一幀重復以上的比較，直到新一幀與背景模型的相似度高于閾值，新一幀被標記為非背景類；此時，滑動窗口以預標記期間累計被標記為背景的總幀數n作為新的滑動步長進行一次滑動并輸入行為識別模塊，背景類窗口滑動策略算法如下：

假設在時刻t，時間窗口W_t經過一次滑動并輸入背景模型，經過模型的檢測后，被分類為動作類窗口，此時，滑動窗口暫停滑動，重新計算滑窗的滑動步長，當新一幀f_t+1到來，將f_t+1與f_t進行相似度比較，計算公式如下：

其中，N為第t個視頻幀中像素的總數量，X_t為視頻幀中特定位置像素的像素值；

將得到的相似度將與設定的閾值T進行比較，T通過在訓練背景模型時，使用高斯分布統計測試集視頻中動作窗口與動作開始窗口交界處幀間的相似度值的分布情況，自學習得到一個合適的閾值，若幀間的相似度低于設定的閾值，則認為新一幀中的運動信息是重復的，無新的動作變化的幀無需重新檢測，之后，繼續讀取新一幀重復以上的比較，直到新一幀的相似度高于閾值，新一幀被標記為非動作類，此時，時間窗口按照預標記期間累計被標記為動作類的幀數n作為步長進行一次滑動，并輸入行為識別模塊，具體的動作類窗口滑動策略算法如下所示：