[發明專利]基于壓縮視頻的動作識別方法、裝置及計算機設備

在審

• 申請號: 202110012575.5
• 申請日: 2021-01-06
• 公開（公告）號: CN112686193A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 顏云輝;王森;宋克臣;張勁風
• 申請（專利權）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種基于壓縮視頻的動作識別方法，其特征在于，包括：

對樣本集進行預處理，確定所述樣本集中各個樣本壓縮視頻對應的融合特征，所述融合特征至少包括空間特征、運動特征；

利用所述融合特征訓練動作識別模型；

若判定所述動作識別模型符合預設訓練標準，則利用所述動作識別模型對目標壓縮視頻進行動作識別，獲取動作識別結果。

2.根據權利要求1所述的方法，其特征在于，所述對樣本集進行預處理，確定所述樣本集中各個樣本壓縮視頻對應的融合特征，具體包括：

對樣本集中的各個樣本壓縮視頻進行編解碼處理，提取各個所述樣本壓縮視頻中的I幀數據、P幀數據；

根據所述I幀數據提取空間特征；

基于所述P幀數據提取運動特征；

將所述空間特征和所述運動特征進行特征融合，確定所述融合特征。

3.根據權利要求2所述的方法，其特征在于，所述根據所述I幀數據提取空間特征，具體包括：

按照預設幀數對所述I幀數據進行分組處理；

抽取各個分組中預設位置處的I幀數據，并構建新的有序I幀集合；

基于ResNet-50網絡提取所述有序I幀集合中的空間特征；

所述基于所述P幀數據提取運動特征，具體包括：

提取所述P幀數據中的運動矢量；

基于ResNet-18網絡確定所述運動矢量對應的運動特征。

4.根據權利要求2所述的方法，其特征在于，所述將所述空間特征和所述運動相關特征進行特征融合，確定所述融合特征，具體包括：

基于預設權重配比，計算所述空間特征和所述運動特征對應的加權平均值；

將所述加權平均值確定為所述融合特征。

5.根據權利要求1所述的方法，其特征在于，所述利用所述融合特征訓練動作識別模型，具體包括：

將所述融合特征依次輸入所述動作識別模型中的全連接層和Softmax層，獲取動作類別預測結果；

若判定所述類別預測結果的準確度大于預設閾值，則判定所述動作識別模型符合預設訓練標準。

6.根據權利要求1至5中任一項所述的方法，其特征在于，所述方法還包括：

在利用所述融合特征訓練動作識別模型時，對所述動作識別模型中動作識別神經網絡的卷積核進行剪枝處理；

所述在利用所述融合特征訓練動作識別模型時，對所述動作識別模型中動作識別神經網絡的卷積核進行剪枝處理，具體包括：

基于預設剪枝率以及L2范數確定對應權值小于第一預設閾值的第一卷積核；

在利用所述融合特征訓練動作識別模型時，將所述第一卷積核置零，并允許置零后的所述第一卷積核參與訓練過程的權值更新；

基于反向傳播更新卷積核的權值，在模型重新收斂后剪去最后一個訓練周期中權值小于第二預設閾值的第二卷積核。

7.根據權利要求1所述的方法，其特征在于，所述若判定所述動作識別模型符合預設訓練標準，則利用所述動作識別模型對目標壓縮視頻進行動作識別，獲取動作識別結果，具體包括：

提取所述目標壓縮視頻的目標融合特征；

將所述目標融合特征輸入符合預設訓練標準的動作識別模型中，獲取各個預設動作類別對應的評定分值；

將對應所述評定分值最高的預設動作類別確定為所述目標壓縮視頻的動作識別結果。

8.一種基于壓縮視頻的動作識別裝置，其特征在于，包括：

處理模塊，用于對樣本集進行預處理，確定所述樣本集中各個樣本壓縮視頻對應的融合特征，所述融合特征至少包括空間特征、運動特征；

訓練模塊，用于利用所述融合特征訓練動作識別模型；

識別模塊，用于若判定所述動作識別模型符合預設訓練標準，則利用所述動作識別模型對目標壓縮視頻進行動作識別，獲取動作識別結果。

9.一種非易失性可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現權利要求1至7中任一項所述的基于壓縮視頻的動作識別方法。

10.一種計算機設備，包括非易失性可讀存儲介質、處理器及存儲在非易失性可讀存儲介質上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1至7中任一項所述的基于壓縮視頻的動作識別方法。