[發明專利]一種基于時空特征融合的實時動作識別方法

在審

• 申請號: 202110300133.0
• 申請日: 2021-03-22
• 公開（公告）號: CN113052059A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 李宗民;張玉鵬;孫奉鈺;張敏杰;劉玉杰
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明結合深度學習與計算機視覺算法，具體公開了一種基于時空特征融合的實時動作識別方法，該方法包括如下步驟：s1、通過攝像頭獲取人物動作的視頻信息；s2、將獲取人物動作的視頻信息上傳到服務器；s3、對上傳的視頻進行預處理，進行等間隔的分幀；s4、使用動作檢測器，對視頻信息進行特征提取，使用時空特征融合方法，對視頻信息進行時間域與空間域特征融合，完成特征提?。籹5、使用深度學習的方法，對特征進行綜合分析，判斷目標動作；s6、將結果實時反饋。本發明方法通過使用卷積神經網絡對于目標動作中視頻信息的分析，使用時空特征融合方法，充分挖掘視頻每幀之間的關系特征，實時的檢測待檢測目標動作。

技術領域

本發明結合深度學習與計算機視覺算法，具體公開了一種基于時空特征融合的實時動作識別方法。

背景技術

隨著視頻獲取設備和網絡的發展，從視頻信息中分析和理解人體動作變得越來越重要。人體動作識別應用于視頻監控、自動視頻標簽和人機交互等多個領域。動作識別在模式識別當中屬于比較困難的識別任務，識別視頻中的動作則是其中一個充滿挑戰而又具有較高實際應用價值的任務。相比圖像來說，視頻內容和背景更加復雜多變，不同的動作類別之間具有相似性，而相同的類別在不同環境下又有著不同的特點。

根據實現的方法來分類，可以把人體動作識別分為基于單幀圖像的動作識別和基于視頻的動作識別。相比于基于視頻的識別，基于單幀圖像的識別優勢在于圖像更容易獲得，可是由于圖像沒有時間信息識別起來更加困難，并且也更容易出現誤判。而基于視頻的動作識別能夠有效的獲取視頻中的時間和空間信息，這在很大程度上提高了識別的準確率?，F有的人體動作識別方法主要有基于特征提取的動作識別方法和基于深度學習的動作識別方法。傳統基于特征提取的動作識別方法主要靠一些經典的人為設計特征來提取運動特征，再由分類器分類或進行模板匹配。人工設計特征數據預處理復雜，而深度學習模型具有自適應學習特征、數據預處理簡單等優點。

現在的方法多是通過深度學習的方法進行特征提取，但是采用二維卷積神經網絡的方法缺少對時間域特征的提取，采用三維卷積神經網絡的方法存在過擬合，參數量過大的問題。

因此，結合深度學習與計算機視覺的方法，構建一種更便利的動作識別方法是非常必要的。

發明內容

本發明的目的在于提出一種基于時空特征融合的實時動作識別方法，其采用如下方案：

一種基于時空特征融合的實時動作識別方法，包括如下步驟：

s1、通過攝像頭獲取人物動作的視頻信息；

s2、將獲取人物動作的視頻信息上傳到服務器；

s3、對上傳的視頻進行預處理，進行等間隔的分幀；

s4、使用動作檢測器，對視頻信息進行特征提取，使用時空特征融合方法，對視頻信息進行時間域與空間域特征融合，完成特征提??；

s5、使用深度學習的方法，對特征進行綜合分析，判斷目標動作；

s6、將結果實時反饋。

進一步，上述步驟s1中，通過調整攝像頭角度，實時地捕獲目標人物的動作特征信息。

進一步，上述步驟s2中，需要將對于s1中獲取到的信息每隔一定時間上傳到指定的服務器中，分析所處動作狀態。

進一步，上述步驟s3中，通過視頻分幀技術，根據深度學習算法中時間步長，每秒提取16張視頻幀圖片。

進一步，上述步驟s4中，完成對于時空特征融合的特征提取。

進一步，數據處理的具體步驟為：

s41、通過動作檢測器，在步驟s3的基礎上，完成對于每一幀圖片目標動作的空間域特征提取工作；