[發明專利]視頻動作檢測方法及裝置

在審

• 申請號: 201710146933.5
• 申請日: 2017-03-13
• 公開（公告）號: CN108573197A
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 劉春暉;厲揚豪;胡越予;劉家瑛;郭宗明
• 申請（專利權）人: 北京大學;北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊文娟;劉芳

本發明提供一種視頻動作檢測方法及裝置，其中方法包括：從訓練集中選取訓練視頻，獲取訓練視頻中每一幀圖像的骨架數據以及對圖像中動作的識別結果和預測結果；利用神經網絡對每一幀圖像的骨架數據進行處理，獲取每一幀圖像的識別信息和預測信息；根據所述識別信息與識別結果、以及所述預測信息與預測結果，對神經網絡進行優化；重復上述步驟，直至神經網絡收斂；在神經網絡收斂后，利用神經網絡對待測視頻中每幀圖像的骨架數據進行處理，得到相應的識別信息和預測信息。本發明提供的視頻動作檢測方法及裝置，能夠對視頻中每一幀圖像進行識別，無需手動提取視頻片段，提高了檢測效率和準確性。

技術領域

本發明涉及計算機視覺技術，尤其涉及一種視頻動作檢測方法及裝置。

背景技術

視頻動作檢測的目標是給定一個視頻序列，識別出給該視頻序列中的動作發生的區間以及相應的種類。微軟Kinect設備的發展使得人的關節骨架(skeleton)數據可以更容易的獲取，關節骨架是人的更抽象的表達，對動作檢測和預測問題有著很大的幫助。

現有技術中，視頻動作檢測的工作是基于動作識別完成的。動作識別的任務是給定一個短的視頻片段識別出其動作種類。傳統的動作識別方法是提取視頻圖像的梯度直方圖等傳統特征信息進行分類。在此基礎上，又有人提出了利用前后幀的動作軌跡和光流作為一個新的特征結合傳統特征利用費希爾向量進行壓縮編碼之后進行分類。這些方法只是將視頻看作一個整體，一段視頻僅能夠識別出一個動作種類，當長視頻中有多個動作時，需要手動提取視頻片段，再利用上述方法針對每個視頻片段進行識別，效率低下，且準確性較差。

發明內容

本發明提供一種視頻動作檢測方法及裝置，用以解決現有技術中視頻動作識別的效率低下的技術問題。

本發明提供一種視頻動作檢測方法，包括：

從訓練集中選取訓練視頻，獲取訓練視頻中每一幀圖像的骨架數據以及對圖像中動作的識別結果和預測結果；

利用神經網絡對每一幀圖像的骨架數據進行處理，獲取每一幀圖像的識別信息和預測信息；

根據所述識別信息與識別結果、以及所述預測信息與預測結果，對神經網絡進行優化；

重復上述步驟，直至神經網絡收斂；

在神經網絡收斂后，利用神經網絡對待測視頻中每幀圖像的骨架數據進行處理，得到相應的識別信息和預測信息。

進一步地，利用神經網絡對每一幀圖像的骨架數據進行處理，獲取每一幀圖像的識別信息和預測信息，包括：

將每一幀圖像的骨架數據分別輸入到神經網絡的特征提取部分，得到相應的特征信息；

將所述特征信息輸入到多任務神經網絡部分，得到每一幀圖像的識別信息和預測信息。

進一步地，根據所述識別信息與識別結果、以及所述預測信息與預測結果，對神經網絡進行優化，包括：

根據所述識別信息和所述識別結果計算識別誤差；

根據所述預測信息和所述預測結果計算預測誤差；

根據所述識別誤差和所述預測誤差的加權和，得到總誤差，并利用隨機梯度下降法反向傳播神經網絡參數。

進一步地，在神經網絡收斂后，利用神經網絡對待測視頻中每幀圖像的骨架數據進行處理，得到相應的識別信息和預測信息，包括：

神經網絡收斂后，獲取待測視頻的骨架數據；

將待測視頻中的每一幀圖像的骨架數據輸入到神經網絡的特征提取部分，得到相應的特征信息；

將所述待測視頻對應的特征信息輸入到多任務神經網絡部分，得到每一幀圖像的識別信息和預測信息；