[發明專利]基于八度卷積的壓縮視頻動作識別方法

有效

• 申請號: 202010057457.1
• 申請日: 2020-01-19
• 公開（公告）號: CN111246217B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 張俊三;程俏俏;王曉敏;馮葉棋;常益浩;朱瑞;余勇
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: H04N19/577
• 分類號: H04N19/577;H04N19/573;H04N19/42;H04N19/176;H04N19/13;H04N21/845
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 程佩玉

1.一種基于八度卷積的壓縮視頻動作識別方法，其特征在于，包括：

S1、將待識別視頻壓縮為壓縮視頻，對所述壓縮視頻進行編碼，將所述壓縮視頻劃分為k個片段；

S2、構建八度卷積模型；

S3、對所述k個片段進行取樣并輸入所述八度卷積模型，根據交叉熵損失訓練所述八度卷積模型，得到所述k段的片段級結果；

S4、融合所述k個片段的片段級結果，得到所述待識別視頻預測結果；所述將待識別視頻壓縮為壓縮視頻，對所述壓縮視頻進行編碼，將所述壓縮視頻劃分為k個片段包括：

根據MPEG-4Part2將所述壓縮視頻分割為I幀、P幀和零個或多個B幀；其中，I幀為內部編碼幀、P幀為預測幀、B幀為由運動矢量和殘差組成的雙向幀，I幀為常規圖像，P幀編碼前一幀到當前幀的變化，P幀由運動矢量和殘差向量組成；

所述壓縮視頻包含I幀RGB圖像、運動矢量和殘差向量三種數據模式；其中，像素塊從原始幀到目標幀的移動為所述運動矢量，所述運動矢量在所述待識別視頻壓縮過程中分為多個宏塊，所述殘差向量為當前幀與參考I幀之間去除運動矢量之后的RGB差，所述運動矢量為m，所述殘差向量為r，I_i為所述壓縮視頻中的I幀，P_i+1為所述壓縮視頻中的P幀；

所述壓縮視頻為序列{I_i,P_i+1,K}，對所述壓縮視頻進行編碼得到的編碼視頻為{I_i,I_i+1,...}，所述P幀重構為I_i+1：

I_i+1＝P_i+1+I_i

P_i+1＝m+r

其中，I幀、殘差向量和P幀的大小為3*H*W，m的大小為2*H*W。

2.根據權利要求1所述的方法，其特征在于，所述運動矢量在所述待識別視頻壓縮過程中分為8x 8或者16x16或者32x32個宏塊。

3.根據權利要求1至2中任一項所述的方法，其特征在于，所述將所述壓縮視頻劃分為k段包括：

將所述壓縮視頻均勻劃分為K個片段，并對所述K個片段序列進行建模獲取長期運動的信息。

4.根據權利要求1所述的方法，其特征在于，所述構建八度卷積模型包括：

根據下式構建所述八度卷積模型：

H＝f_H→H(H)+upsample(f_L→H(L))

L＝f_H→L(pool(H))+f_L→L(L)

其中unsample和pool對應于上采樣和池化操作，f_H→H,f_L→L表示信息更新，H為高頻，L為低頻，f_H→L,f_L→H表示高頻與低頻兩個頻率之間的信息交換。

5.根據權利要求1或2所述的方法，其特征在于，所述根據交叉熵損失訓練所述八度卷積模型包括：

對所述八度卷積的不同的信道分配給低頻的比例α值設置為0.5。

6.根據權利要求5所述的方法，其特征在于，所述根據交叉熵損失訓練所述八度卷積模型包括：

根據深度學習編譯器TVM訓練所述八度卷積模型。

7.根據權利要求6所述的方法，其特征在于，訓練所述八度卷積模型過程中，用交叉熵損失進行反向傳播，更新優化所述八度卷積模型參數。