[發明專利]基于局部特征聚合編碼和長短期記憶網絡的行為識別方法

在審

• 申請號: 201910443352.7
• 申請日: 2019-05-27
• 公開（公告）號: CN110188653A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 李春國;常穎;徐琴珍;楊綠溪
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 蔣昱

基于局部特征聚合編碼和長短期記憶網絡的行為識別方法包括如下步驟：(1)對視頻稀疏采樣，得到用于學習行為時空特征的有序幀序列；(2)使用卷積神經網絡提取圖片特征；(3)使用VLAD層對圖像局部特征編碼，生成圖像的全局特征向量；(4)使用長短期記憶網絡學習幀間時序關系，生成視頻的整體描述向量；(5)使用分類層得到當前輸入視頻中的動作行為屬于數據集中各個類別的概率值；(6)在UCF101和something?something數據集上對網絡進行訓練和測試，優化網絡參數。本發明使用卷積神經網絡提取單幀視頻RGB圖像的局部特征后，使用局部特征聚合編碼得到圖像全局特征，接著使用長短期記憶網絡學習幀間上下文，充分學習行為的時空特征，有效地提高分類的準確度。

技術領域

本發明涉及計算機視覺與人工智能、多媒體信號處理領域，特別是涉及基于局部特征聚合編碼和長短期記憶網絡的行為識別方法。

背景技術

人類作為社會活動的主體，人類活動也成為視頻數據中的主要有效信息，因此對視頻中人體行為的分析識別，是視頻內容分析的重要組成部分。視頻行為識別是從給定的未知的視頻或者圖像序列中自動分析其中正在進行的行為。該技術由于其巨大的應用前景和潛在的經濟價值備受學業界以及工業界的關注，可以滿足智能視頻監控、醫療視頻監護，視頻內容檢索與分析以及人機交互和虛擬現實等領域的自動分析和智能化需求，極大程度地改善人們的生活。

基于計算機視覺的識別方法大多遵循以下的統一處理過程：輸入視頻，提取特征對行為進行表征，對行為進行分類?；趥鹘y機器學習的行為識別算法，一般先提取底層特征，而提取的特征通常無法直接用于最終的行為分類判別，需要對底層特征進行編碼后得到視頻的全局描述，最后將得到的全局描述子輸入SVM、Adaboost、決策樹等分類器得到分類結果。而隨著GPU等硬件設施的發展，愈來愈多的學者嘗試將深度學習應用于行為識別，通過深度神經網絡來學習視頻高級特征，并采用Softmax等全連接網絡分類層來得到分類結果。

在行為識別領域，基于深度神經網絡學習的特征獲得了廣泛的應用，并取得了良好的行為識別效果，但是這些方法還存在許多問題。從目前的研究情況的一大難點就是更有效的特征編碼或融合策略的研究。在非時序特征方面，研究包括如何更有效的對多種特征編碼/融合這些特征來獲得更好的結果，而在時序特征方面，由于由于視頻很重要的一個特性就是其時序信息，一些動作看單幀的圖像是無法判斷的，只能通過時序上的變化判斷，所以需要學習行為的時序特征，獲得對于視頻整體的描述。

針對以上的難點，本發明提供了基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，通過局部特征聚合描述符聚合圖像中的多個子類特征，之后使用長短時記憶網絡充分學習幀間時序演變，因此該方法能夠有效地學習到視頻行為的空間和時間特征，有效地對視頻中的行為判別分類。

發明內容

為了有效地將時序上的特征進行編碼或者融合，獲得對于視頻整體的描述，本發明提供基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，該框架使用卷積神經網絡提取圖像特征，經過局部特征聚合(VLAD)層將卷積層提取的局部特征進行聚合后，使用長短時記憶網絡學習特征向量中的時序上下文，為達此目的，本發明提供基于局部特征聚合編碼和長短期記憶網絡的行為識別方法，包括以下步驟：

(1)對視頻稀疏采樣，得到用于學習行為時空特征的有序幀序列；

(2)使用卷積神經網絡提取圖片特征；

(3)使用VLAD層對圖像局部特征編碼，生成圖像的全局特征向量；

(4)使用長短期記憶網絡學習幀間時序關系，生成視頻的整體描述向量；

(5)使用分類層得到當前輸入視頻中的動作行為屬于數據集中各個類別的概率值；

(6)在UCF101和something-something數據集上進行網絡的訓練與測試。