[發明專利]一種基于YOLOv5和GME的采樣方法

在審

• 申請號: 202210585051.X
• 申請日: 2022-05-27
• 公開（公告）號: CN115063880A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 賈海濤;鄒新雷;任利;賈宇明;張鈺琪;胡佳麗;高源;邢增桓
• 申請（專利權）人: 成都云擎科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06T7/207;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于YOLOv5和GME的采樣方法。該發明是一種全局運動補償與目標檢測算法YOLOv5相結合的采樣階段預處理模塊，針對鏡頭大幅度運動下的視頻行為識別任務進行算法改進。該模塊算法與基于光流的全局運動補償算法有以下不同：一是用視頻幀壓縮域已有的運動矢量替換Brox光流進行，大大降低了獲得數據的計算量和耗時；二是添加行人檢測算法YOLOv5切割出人體存在區域，使得全局運動的估計不被人體的局部運動所影響，隨后計算出背景的全局運動，反饋到整個視頻幀中消除全局運動對行為識別的負面影響。本發明在公開數據集上驗證并比較新算法和原算法的效果，實驗結果表明該采樣方法較原方法有效的保證了行為識別的實時性，同時明顯改善了行為識別在鏡頭大幅度運動下的視頻中的識別準確率。

技術領域

本發明涉及圖像智能識別中的視頻行為識別領域，針對出現鏡頭運動的視頻進行行為識別時，采樣無法消除全局運動的問題，設計了一種消除全局運動的采樣方法。

背景技術

人體行為識別是對拍攝視頻的圖像處理過程，無論專業與否，在視頻的拍攝過程中，難免出現攝像機的抖動與移動。這些非人體行為移動數據，極大的影響到了行為識別的準確率。

全局運動的估計算法層出不窮，主要基于光流以及運動矢量進行計算展開。本發明目標為設計一個采樣階段的預處理模塊，能夠估算出全局運動的運動矢量，消除其對行為識別的負面影響。

消除全局運動需要面臨的問題：一是運動邊界突出人體行為運動不能很好的消除全局運動對行為識別造成的負面影響，在大幅度運動出現的情況下表現不佳，二是當下基于Brox等光流的GME算法參數過多，計算復雜，同時該光流的提取也非常耗時，無法滿足視頻行為識別的實時性。

YOLOv5是一種在coco數據集上預訓練的最新的目標檢測算法，其核心思想是以回歸問題的思路來處理目標檢測任務。

在最初版本的YOLO方法中，網絡以整張圖片為輸入，將其輸入由若干卷積核池化層組成的中間層，提取圖片的類別特征，再通過兩個全連接層，預測出目標的類別和位置。這樣的網絡結構相較之前的R-NN而言，僅通過單個神經網絡，就可以得到預測目標的類別信息和邊界框的位置，極大的提升了目標檢測算法的運行速度。本文將把目標檢測算法用于視頻特征提取的預處理階段，為了達成算法的實時性，應該選用目標檢測算法中速度最快的YOLOv5算法。除此以外，視頻中的運動矢量在視頻解壓的過程中就可以直接獲得，相較于GME，這樣做避免了大量的光流運算，因此可以使用運動矢量代替光流作為網絡的輸入。

本專利結合目標檢測YOLOv5算法，設計了基于YOLOv5和GME的采樣方法，該方法在行為識別任務中有效地的消除全局運動的影響，提取出準確的人體運動信息，通過實驗驗證了其準確度和識別效率上的性能優越性。

發明內容

為了克服行為識別無法有效消除全局運動負面影響，運動邊界特征無法有效辨別大幅度運動時人體行為和背景運動的界定問題，本發明提出了一種基于YOLOv5和GME的采樣方法。該技術引用了全局運動補償算法以及圖像智能識別領域的YOLOv5技術，對GME算法進行了進一步改進。本發明所采用的的技術方案是：

步驟1.運動矢量獲取模塊。YGME算法將使用幀之間的運動矢量數據替代光流值進行接下來的全局運動估計與補償。由于視頻中的運動矢量在視頻解壓的過程中就可以直接獲得，相較于GME，這樣做避免了大量的光流運算(Brox光流算法在NVIDIA GPU上的處理速度為一幀0.06s，也就是約16FPS)。

步驟2.人體區域分割模塊。為了消除局部運動(主要是人體運動)對全局運動的錯誤估計，使用行人檢測Yolo算法獲取圖像幀中的人員存在區域，留下人員存在以外的那部分區域。

步驟3全局運動估計模塊。根據切割后留下的背景模塊，估計全局運動估計背景區域的全局運動矢量，也就是攝像機的運動量。