[發明專利]基于視頻數據特性的動態手勢識別方法、存儲介質和設備

有效

• 申請號: 202010501992.1
• 申請日: 2020-06-04
• 公開（公告）號: CN111680618B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 謝曉燕;趙歡;尹芍潤
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/762;G06V10/77;G06V10/764
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種基于視頻數據特性的動態手勢識別方法、存儲介質和設備，從動態手勢編碼視頻碼流中獲取運動矢量；對獲取的運動矢量進行閾值過濾，去除與手部運動無關的運動矢量特征；然后進行方向量化；再使用k?means聚類算法將運動矢量按量化方向角聚為不同的簇；取方向角聚類簇樣本數量最多的2個簇作為主方向角聚類簇；采用主成分分析法對聚類后的主方向角聚類簇均值進行數據維度處理，得到一幀運動矢量的運動趨勢；融合運動趨勢和手型類別概率得到動態手勢的類別概率，將概率最大的類別作為預測得到的目標類別。本發明避免了對視頻碼流解碼重建帶來的數據量和計算量的增加，能夠在資源受限環境中有效實現，提高了安全性和實時性。

技術領域

本發明屬于信息技術領域，具體涉及一種基于視頻數據特性的動態手勢識別方法、存儲介質和設備。

背景技術

動態手勢作為一種重要的人機交互方式，近年來受到越來越多的關注。將手部執行的特定動作，利用相應設備捕獲與分析，轉化為一系列控制指令使智能設備做出響應，使得人機交互方式更加自然和友好。近年來，動態手勢識別在體感游戲、手語識別、輔助駕駛、醫療器械以及智能家電控制等領域應用的越來越廣泛。

目前在計算機視覺領域，對于動態手勢分析都是采用“源端視頻壓縮→傳輸→后端解碼重建視頻→視頻圖像分幀→特征提取與分析識別”的處理框架進行的。這樣的處理框架將視頻圖像的分析處理與多媒體數據處理領域割裂開來，沒有充分利用多媒體數據處理領域已經挖掘出的視頻數據時間及空間特征信息。在現有視頻設備中采用的視頻編碼技術(如AVS(Audio?Video?Coding?Standard)、HEVC(High?Efficiency?Video?Coding)等)中，本身就已經通過運動矢量將采集的原始相鄰圖像幀之間的對象運動趨勢精確地描述出來。如果能夠充分利用這些信息，不但可以大大降低視頻圖像分析識別的數據量，還可以大大簡化特征提取復雜度。

現有基于動態手勢識別應用，為了發揮智能算法的優勢，同時又受制于終端的計算和存儲資源限制，不得不采用云后端的系統架構，如圖1所示。在本地獲取手勢視頻數據，編碼壓縮后通過網絡傳輸到云端，在云端解碼視頻流得到一系列的靜態手勢圖像幀數據，對圖像幀序列進行相關預處理后利用智能算法提取特征并分析識別，最后將結果通過網絡傳回本地。這樣的框架從本質上無法跨越以下限制：

(1)特征提取與分析識別需要在解碼重建后的視頻上完成，算法處理的原始數據本身是經過有損的視頻編碼處理過的，因此存在很大的視覺特征損失，識別的精度會受到很大的影響；

(2)特征提取與分析識別的輸入是基于將重建的視頻數據分幀后的離散圖像序列，導致分析的數據量增長巨大，對存貯和計算資源都帶來很大的挑戰，故而無法將應用部署在資源受限的邊緣設備上；

(3)將特征提取與分析識別部署在云端又導致數據安全和傳輸代價問題。

這樣的處理框架忽略了編碼視頻中固有的數據特征。在視頻編碼中，I幀(關鍵幀)采用的幀內壓縮方式會保留完整的靜態圖像信息，因此可以獨立的解碼與顯示，并提取到動態手勢的空間特征。為了降低碼率，I幀之間的預測幀中僅保留了與運動趨勢相關的時間特征信息，基于這些信息解碼恢復出的圖像序列與原始圖像序列存在很大的量化誤差。這些量化誤差會對智能算法造成誤導，影響分析識別的精度。但是換一個角度來看，預測幀編碼數據中的運動矢量是通過相鄰幀間的塊匹配計算得到的，這些運動矢量本身就呈現了視頻圖像序列中運動對象在時間和空間的變化特征。也就是說，對于動態手勢視頻圖像，運動矢量中蘊含了手勢變化的趨勢信息，因此可以直接從編碼視頻數據中提取出來作為手勢的時間特征。如果能夠充分利用運動矢量的特征信息，一方面可以避免解碼帶來的量化誤差，另一方面還可以大大降低計算復雜度和分析處理的數據量。畢竟和圖像序列相比，運動矢量的數據量將會成數量級地降低，而且對機器學習算法來說運動矢量數據更加規則。

發明內容