[發(fā)明專利]一類基于張量自回歸滑動(dòng)平均模型的視頻分類方法

在審

• 申請?zhí)枺?/td>: 202110028634.8
• 申請日: 2021-01-08
• 公開（公告）號(hào): CN112801142A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 王少帆;鄔玉潔;孔德慧;尹寶才
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00;G06F16/75
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

1.一類基于張量自回歸滑動(dòng)平均模型的視頻分類方法，其特征在于包括以下步驟：

步驟一：對待分類的原始視頻數(shù)據(jù)進(jìn)行張量表示，得到每段視頻的視頻序列張量；

步驟二：將每個(gè)視頻序列張量編碼成一個(gè)自回歸滑動(dòng)平均模型，進(jìn)而求解得到模型中的參數(shù)，即核張量觀測矩陣轉(zhuǎn)移矩陣

步驟三：根據(jù)步驟二得到的模型參數(shù)，將每個(gè)待分類的原始視頻數(shù)據(jù)表示為乘積格拉斯曼流形點(diǎn)，并在乘積格拉斯曼流形上計(jì)算每個(gè)待分類的原始視頻數(shù)據(jù)到其他所有待分類的原始視頻數(shù)據(jù)的距離：

步驟四：利用步驟三得到的距離進(jìn)行視頻分類。

2.根據(jù)權(quán)利要求1所述的一類基于張量自回歸滑動(dòng)平均模型的視頻分類方法，其特征在于：步驟一所述的張量表示包括兩種情況，即：

第一種情況：原始視頻數(shù)據(jù)經(jīng)過特征提取處理后轉(zhuǎn)變?yōu)樘卣饕曨l幀序列，直接將提取后的特征視頻幀序列看作是一個(gè)三階張量，張量的三個(gè)維度分別表示特征圖像的寬度l₁、高度l₂和視頻幀序列個(gè)數(shù)Z；

第二種情況：原始視頻數(shù)據(jù)未經(jīng)過處理，引入一個(gè)基于視頻幀塊的視頻表示方法，具體為：首先對原始視頻提取視頻幀，將每個(gè)視頻幀平均地分成大小相等的視頻幀塊，然后對每個(gè)視頻幀的視頻幀塊采用GIST算子進(jìn)行特征提取，每個(gè)視頻幀形成一個(gè)特征矩陣，特征矩陣中的列向量對應(yīng)視頻幀塊的特征；最后按照原始視頻的時(shí)間順序?qū)⑺刑卣骶仃嚺帕袠?gòu)建成視頻序列張量。

3.根據(jù)權(quán)利要求1所述的一類基于張量自回歸滑動(dòng)平均模型的視頻分類方法，其特征在于：步驟二所述的自回歸滑動(dòng)平均模型建模過程如下：

將視頻序列張量看作是一個(gè)ARMA模型的輸出，對于n階視頻張量序列N表示視頻序列總數(shù)目，構(gòu)建自回歸滑動(dòng)平均模型：

其中，是n階核張量，是滿足列正交約束的觀測矩陣，是滿足列正交約束的轉(zhuǎn)移矩陣，m表示觀測矩陣和轉(zhuǎn)移矩陣的個(gè)數(shù)，且滿足m＝n；

將模型轉(zhuǎn)化成需要優(yōu)化的目標(biāo)函數(shù)：

4.根據(jù)權(quán)利要求3所述的一類基于張量自回歸滑動(dòng)平均模型的視頻分類方法，其特征在于：步驟二所述的自回歸滑動(dòng)平均模型參數(shù)求解過程如下：

輸入：N個(gè)n階視頻張量

輸出：核張量觀測矩陣轉(zhuǎn)移矩陣

(1)、隨機(jī)初始觀測矩陣滿足隨機(jī)初始轉(zhuǎn)移矩陣滿足

(2)、循環(huán)求解D₁,D₂,D₃,…,D_m，直到循環(huán)收斂：

結(jié)束循環(huán)；

(3)、計(jì)算核張量

(4)、循環(huán)求解E₁,E₂,E₃,…,E_m，直到循環(huán)收斂：

結(jié)束循環(huán)；

其中，SVD表示對矩陣做奇異值分解的函數(shù)，U稱為左奇異矩陣，Σ稱為奇異值,V稱為右奇異矩陣，計(jì)算過程只用到了左奇異矩陣U，a₍₁₎,a₍₂₎,...,a_(n)表示張量的模n展開，L₁,L₂,...,Ln表示核張量的大小。