[發明專利]基于局部特征聚合編碼和長短期記憶網絡的行為識別方法

在審

• 申請號: 201910443352.7
• 申請日: 2019-05-27
• 公開（公告）號: CN110188653A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 李春國;常穎;徐琴珍;楊綠溪
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 蔣昱

1.基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，包括以下步驟，其特征在于：

(1)對視頻稀疏采樣，得到用于學習行為時空特征的有序幀序列；

(2)使用卷積神經網絡提取圖片特征；

(3)使用VLAD層對圖像局部特征編碼，生成圖像的全局特征向量；

(4)使用長短期記憶網絡學習幀間時序關系，生成視頻的整體描述向量；

(5)使用分類層得到當前輸入視頻中的動作行為屬于數據集中各個類別的概率值；

(6)在UCF101和something-something數據集上進行網絡的訓練與測試。

2.根據權利要求1所述的基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，其特征在于：所述步驟(1)中對視頻稀疏采樣，對于給定的視頻V，將視頻均勻分段，從每段中分別隨機采樣一幀來得到25幀有序視頻幀序列用于網絡的訓練和測試。

3.根據權利要求1所述的基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，其特征在于：所述步驟(2)中使用卷積神經網絡提取圖片特征，具體實現為：將采樣幀送入VGG-16網絡進行特征提取，經過截止到conv5_3的卷積層提取到14×14×512大小的特征圖作為下一層的輸入。

4.根據權利要求1所述的基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，其特征在于：所述步驟(3)中將傳統的VLAD算法引入卷積神經網絡，對卷積層提取的局部特征進行聚合，得到圖像的全局特征，具體步驟為：

步驟3.1：將14×14×512大小的特征圖向量重塑為14×14個512維的特征向量，視為在不同空間位置提取到的512維特征向量，得到512維的特征數據集X＝(x₁,x₂,…,x_N)，其中N＝14×14；

步驟3.2：采用K-means等聚類算法將得到的14×14個512維的局部特征聚類為64類，保存得到的聚類中心向量集合C＝{c₁,c₂,…,c₆₄}；

步驟3.3：對第i個局部特征屬于第k個聚類的權重a_k(x_i)進行軟分配，其中i＝1,2,…,512，k＝1,2,…,64，計算方法如下：

進一步地，對a_k(x_i)解耦合，得到最終的權重計算公式：

其中，w_k＝2αc_k，b_k＝-α||c_k||²；

因此權重具體分配方式為，用64個1×1的卷積核對特征數據集卷積，卷積參數矩陣為{w_k}，偏置項為{b_k}，產生結果將該結果再經過softmax操作生成權重{a_k(x_i)}；

步驟3.4：對14×14個512維的局部特征聚合得到一個64×512維的圖像描述矩陣，并將該矩陣轉換為向量表示，得到圖像全局特征向量V，計算公式如下:

步驟3.5：對向量V進行L2范數歸一化，目的主要是為了使得特征向量范數為1，來消除指標之間的量綱影響，使得對特征的比較是在同一個尺度上，計算方法如下：

5.根據權利要求1所述的基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，其特征在于：所述步驟(4)中使用長短期記憶網絡學習幀間時序關系，生成視頻的整體描述向量，具體步驟為：

步驟4.1：步驟1中的有序幀序列經過步驟2和步驟3，將產生T個時刻的VLAD特征向量，將其輸入到長短期記憶網絡中，使用兩層神經元數目為256的長短期記憶網絡學習幀間上下文，長短期記憶網絡的每一時刻將會考慮當前時刻的輸入和歷史輸入而輸出當前時刻的結果；

步驟4.2：對所有時刻的輸出結果取平均值，得到唯一的時空特征向量。