[發明專利]基于時間演化建模和多示例學習的視頻動作檢測方法

有效

• 申請號: 201810971986.5
• 申請日: 2018-08-24
• 公開（公告）號: CN109271876B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 宋硯;唐金輝;李澤超;楊明磊
• 申請（專利權）人: 南京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 尹均利

1.一種基于時間演化建模和多示例學習的視頻動作檢測方法，其特征在于，包括：特征提取、制作訓練樣本并統計動作長度分布、對訓練樣本進行時間演化建模并訓練多示例學習神經網絡、對測試視頻進行檢測四個過程；其中

(1)特征提取過程包括以下步驟：

步驟101，把訓練視頻以及測試視頻中每一個16幀的視頻片段輸入到C3D網絡中，提取網絡的fc6層的輸出作為特征；

步驟102，將步驟101中得到特征使用主成分分析進行降維；

步驟103，將步驟102中降維后的特征使用L2范數對特征進行歸一化；

(2)制作訓練樣本并統計動作長度分布包括以下步驟：

步驟201，使用滑動窗口法在訓練視頻上按照重疊率剪切動作片段；

步驟202，統計步驟201中得到動作片段的長度分布，即每個動作類中不同滑動窗口長度的訓練樣本所占的比率；

(3)對訓練樣本進行時間演化建模并訓練多示例學習神經網絡包括以下步驟：

步驟301，將步驟201得到的每個訓練動作片段均分為三段，同時加上片段前后的32幀片段，一共五段，每段取步驟103中每個16幀的特征的均值，拼接為片段特征；

步驟302，用全連接和MIL pooling層構建多示例學習神經網絡，輸入為301得到的片段特征，輸出為片段的動作類別以及片段的前后偏移量，損失函數為多任務損失，訓練神經網絡；用全連接和MIL pooling層構建多示例學習神經網絡，網絡的輸入為步驟301得到的片段特征，fc_1中間層，fc_2生成每個類別的temporal instance的得分，維度是C×m，C是動作類別數，m表示每個類別的instance數量，fc_3輸出片段的前后偏移量；

在fc_1和fc_2層之前的連接上加入了預定義好的權重，兩個層對應的部分權重為0.8，否則為0.2；MIL pooling層基于fc_2層的temporal instance得分來生成片段的動作得分，公式為

其中，σ是sigmoid激活函數，為類別C對應的temporal instance得分，g_c為全局池化函數，a為控制激活函數σ斜率的固定參數，b_c為每個類別C的適應性軟閾值；

網絡的損失函數是一個多任務損失：

L＝L_cls+λ₁L_ts+λ₂L_reg (3)

其中，L_cls是一個標準的多分類交叉熵損失，L_ts是temporal instance得分的平滑約束，L_reg是片段前后偏移的損失，λ₁和λ₂都設為1，平滑約束定義為：

其中，N是批處理數量，C是動作類別數量，當第i個訓練樣本的類別標簽是c，則否則P表示temporal instance的得分；

片段前后偏移的損失定義為：

其中，是網絡輸出的片段偏移量，o是步驟201得到的該訓練樣本與真實動作片段的前后偏移量，下標s和e分別表示片段前和片段后；

使用Adam優化器來訓練模型，學習率和批處理數量分別設為0.001和128，迭代次數為13000；

(4)對測試視頻進行檢測包括以下步驟：

步驟401，用現有的生成動作片段提議方法得到測試視頻上的動作片段提議；

步驟402，將步驟401的動作片段提議按照步驟301得到片段特征，輸入到步驟302中訓練好的多示例學習神經網絡中，得到動作類別，以及片段前后的偏移；將片段的前后偏移加到原始片段上，構成新的片段，再按照步驟301得到片段特征，輸入到步驟302中訓練好的多示例學習神經網絡中，如此循環三次，得到最終輸出的片段動作類別，動作得分，以及片段的邊界；

步驟403，使用步驟202中得到的長度分布對步驟402中的最終的片段動作得分進行調整；

步驟404，使用步驟403中得到的動作片段提議新的動作得分進行非極大值抑制算法計算，去除冗余檢測得到動作檢測結果。