[發明專利]基于三維卷積神經網絡的多人動作檢測與識別方法與裝置

在審

• 申請號: 201911032206.1
• 申請日: 2019-10-28
• 公開（公告）號: CN110866458A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 宋波
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

本申請公開了一種基于三維卷積神經網絡的多人動作檢測與識別方法及裝置。所述方法包括對訓練數據集的視頻進行預處理，獲得每個人的身體動作的序列；將提取的每個人的身體動作的序列輸入到三維卷積神經網絡模型中進行動作檢測與識別，所述的三維卷積神經網絡模型包括兩個3D卷積池化單元、兩個卷積層、兩個最大池化層、一個平坦層、兩個完全連接層、以及輸出層。所述裝置包括預處理模塊和檢測與識別模塊。本申請能夠應用于多人動作檢測，并且，所述的三維卷積神經網絡模型具有良好的泛化能力，應用于不同類型的視頻數據時均具有較高的識別準確率。

技術領域

本申請涉及視頻處理領域，特別是涉及基于三維卷積神經網絡的多人動作檢測與識別方法與裝置。

背景技術

人類動作檢測與識別是視頻處理的一個特定應用，旨在通過一系列的關于主題和周圍環境的行為識別來識別人類的動作與活動，這是計算機視覺領域的一個熱點問題。人類動作檢測是許多應用的重要任務，例如視頻監控系統、視頻檢索、人類運動的多媒體應用等等。人類行動識別方法可分為兩大類：檢測識別和分類。檢測識別方法首先檢測人的動作，然后識別動作。這些方法使用常規監測數據集進行驗證，如KTH，Weisman，IX-MAS，UCF-ARG，PETS等。這些數據集在受控條件下被記錄，使得個體處于在攝像機的最佳拍攝位置，具有簡單的靜態背景及相似的照明變化。在分類方法下，一般根據視頻中包含的動作進行分類。這些方法使用新開發的數據集進行評估，這些數據集是從網絡收集的視頻，例如從YouTube中收集，或者是在不控制照明條件的實際條件下使用移動攝像機和復雜背景錄制的視頻，屬于這一類的數據集包括Hollywood，Hollywood2，UCFsport，UCF50，UCF101，HMDB51，HMDB等，這類方法探討了視頻內容的多樣性(人體的規模，人體位置的改變等)、攝像機運動的變化以及對這類數據集的背景分析。為了提高人體動作識別性能，最近的研究大多數采用了各種深度學習模型。由于人體行為是從人體或其某些部分的多個運動中提取出來的，因此識別過程必須涉及視頻處理，以便了解視覺外觀變化的模式。許多方法使用幾個輸入視頻進行深度學習建模，以便識別人類活動,例如使用CNN模型和長期短期記憶(LSTM)來識別人類行為；還有學者提出了與CNN模型一起使用的許多特征的另一個例子，利用原始幀，光流和運動堆疊差異圖像作為用于人類行為識別的CNN模型的輸入；還有一種方法是使用六流特征來進行一般動作識別，其中使用了許多輸入，包括完整圖像，僅代表人體的人類圖像，以及前面每個特征的光學流動結果。

上面介紹的方法存在以下缺陷：

1、現有的方法大多數針對于單人動作檢測和識別，由于多人動作檢測具有的多復雜性特征，針對于多人運動檢測的方法較少；

2、現有的多人運動檢測和識別方法往往能由于其復雜性和多樣性的特征，導致識別準確率不高；

3、現有方法一般針對于一類特定視頻數據集，例如使用常規監測數據集進行測試或是利用從網絡收集的視頻數據集進行測試，很少有模型能夠同時應用于兩種類型的模型，即現有模型的泛化力較弱。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種基于三維卷積神經網絡的多人動作檢測與識別方法，包括：

對訓練數據集的視頻進行預處理，獲得每個人的身體動作的序列；

將提取的每個人的身體動作的序列輸入到三維卷積神經網絡模型中進行動作檢測與識別，所述的三維卷積神經網絡模型包括兩個3D卷積池化單元、兩個卷積層、兩個最大池化層、一個平坦層、兩個完全連接層、以及輸出層。

可選地，所述的對訓練數據集的視頻進行預處理包括：

從訓練數據集的視頻中分離人體；

從分離完人體的視頻中提取每個人的身體動作的序列。