[發明專利]一類基于張量自回歸滑動平均模型的視頻分類方法

在審

• 申請號: 202110028634.8
• 申請日: 2021-01-08
• 公開（公告）號: CN112801142A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 王少帆;鄔玉潔;孔德慧;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06F16/75
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明涉及一類基于張量自回歸滑動平均模型的視頻分類方法，用于解決傳統的視頻數據處理方法不能充分利用視頻數據中潛在的結構信息，造成視頻數據內部的時域信息丟失，同時數據向量化造成的維度災難等問題。首先，將視頻序列表示為張量型數據，同時引入經典的時間序列表示方法?自回歸滑動平均模型。然后，應用張量分解得到觀測矩陣和潛在的低維度的核張量的轉移矩陣，該核張量是原始視頻序列張量的一種有意義的、獨一無二的表示。將觀測矩陣和轉移矩陣構建視頻序列張量所對應的視覺矩陣序列，其可以映射為流形中的一個點。在對視頻進行分類時，可以通過度量每個視頻數據的視覺矩陣序列在流形中的相似性距離，進而對視頻序列進行分類。

技術領域

本發明適用于計算機視覺領域中的視頻分類技術。

背景技術

隨著數碼設備的大量普及與發展，現代社會的信息量正以飛快的速度增長。視頻作為重要的信息載體，越來越多地出現在人們的日常生活中。在這種環境下，如何對視頻快速、準確地分類變得尤為重要。

傳統的特征學習方法，在魯棒的分類和識別問題中扮演了一個重要的角色，但是基于特征學習的方法并不能將視頻數據中潛在的結構信息充分利用以及可能造成視頻數據內部的時域信息丟失，同時還破壞了視頻序列在時域上的連續性，造成維度災難。

基于多線性方法對視頻數據的分類都是各項同性的，同時的對視頻數據的空域維度和時域維度進行處理。由于視頻序列也是時間序列，視頻序列中在時間維度上的每一幀都是連續的，這種基于多線性的方法破壞了視頻序列中時間維度上的固有連續性最終會導致動作識別率的下降。

考慮到視頻數據具有高階特性，張量在表征視頻數據時具有天然的優勢。而張量計算也已經成功地應用于人臉識別、視覺跟蹤和動作分類等領域，因此越來越多的人開始采用張量分解的方法來研究視頻序列分類問題。基于此本文提出了基于張量的自回歸滑動平均(TensorialAutoRegressive MovingAverage,Tensorial-ARMA)模型。我們將視頻看作一個三階張量，利用張量分解將視頻按階展開，分析其特征信息。張量同時分析視頻序列的相關性和圖像幀內各個部分間的相關性，從空間和時間維度上同時進行分解，減少模型冗余的同時提高了分類準確率。而且視頻序列也是時間序列，作為經典的時間序列表示方法自回歸滑動平均(ARMA)模型理論的方法在狀態預測和系統識別領域里被廣為使用，將自回歸滑動平均模型引入到視頻序列的時間域中，沿著視頻序列的時間維度去編碼相鄰核張量時間切片之間的時域相關性。這種方式能夠在最大程度上保持視頻序列在時間維度上的時域相關性和依賴性。

發明內容

為了解決傳統的視頻數據處理方法不能充分利用視頻數據中潛在的結構信息，造成視頻數據內部的時域信息丟失，同時數據向量化造成的維度災難等問題，本發明提出了一類基于張量自回歸滑動平均模型的視頻分類方法。本發明考慮到視頻數據本身是一個三階張量，利用張量分解將視頻數據按階展開，分析其特征信息，并將自回歸滑動平均模型引入到視頻序列的時間域中，沿著視頻序列的時間維度去編碼相鄰核張量時間切片之間的時域相關性。最后將模型特征參數信息映射到流形空間進行度量分類。

本發明首先，將視頻序列表示為張量型數據，同時引入經典的時間序列表示方法-自回歸滑動平均模型。然后，應用張量分解得到觀測矩陣和潛在的低維度的核張量的轉移矩陣，該核張量是原始視頻序列張量的一種有意義的、獨一無二的表示。將觀測矩陣和轉移矩陣構建視頻序列張量所對應的視覺矩陣序列，其可以映射為流形中的一個點。在對視頻進行分類時，可以通過度量每個視頻數據的視覺矩陣序列在流形中的相似性距離，進而對視頻序列進行分類。具體方案如下：

本文提出高階張量分析及其在視頻序列分類中的應用，并指出一些可能的研究問題。發明的流程如圖4，主要步驟如下：

步驟一：對待分類的原始視頻數據進行張量表示，得到每段視頻的視頻序列張量；

步驟二：將每個視頻序列張量編碼成一個自回歸滑動平均模型，進而求解得到模型中的參數，即核張量觀測矩陣轉移矩陣