[發明專利]基于時間和運動增強的視頻動作識別方法

在審

• 申請號: 202211091323.7
• 申請日: 2022-09-07
• 公開（公告）號: CN115565100A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 趙彬;丁數學;譚本英;李玉潔;覃陽;李國志
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/62;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于時間和運動增強的視頻動作識別方法。包括步驟：設計一個多路徑時間增強模塊，聚合由各種激發模塊激發的多路徑時間信息；設計一個長短程運動增強模塊，編碼相鄰和非相鄰視頻幀之間的運動特征；將多路徑時間增強模塊和長短程運動增強模塊依次連接在一起，形成時間和運動增強模塊，并將其嵌入到一個二維卷積神經網絡中；在動作識別的數據集上進行參數學習，將輸入的視頻進行稀疏采樣并獲得8幀圖像，然后對它們進行預處理后導入上述步驟得到的網絡進行訓練；在動作識別的數據集上對上述步驟得到的算法進行評估，并輸出對應的測試結果。本發明有效利用了時間特征和運動信息，大大提高了動作識別的準確性和實時性。

技術領域

本發明涉及視頻動作識別技術領域，具體是一種基于時間和運動增強的視頻動作識別方法。

背景技術

動作識別一直是視頻理解領域的一個活躍話題。然而，如何設計一個有效的方法來捕捉運動信息是困難的。現有方法的主要可以分為兩種，第一種是使用雙流網絡分別在視頻幀和光流上提取特征。其中，外觀和背景信息從視頻幀中提取，而運動信息則從光流中獲取。然而，計算光流是耗時的，會導致動作識別推理的低效性。此外，特征的融合是在推理階段進行的，也會阻礙空間和時間信息的傳遞。另一種是使用三維卷積神經網絡從視頻幀中學習運動特征。然而，空間-時間建模無法捕獲足夠的運動信息。此外，基于三維卷積神經網絡的方法需要較大的計算量，這將限制該方法在移動場景中的應用。

與三維卷積神經網絡相比，二維神經網絡具有輕量級和計算速度快等特點，因而在視頻動作識別方法中較為常見。例如，Wang等人基于二維卷積神經網絡提出一個時間分段網絡(TSN)，該方法從整個視頻中稀疏采樣形成片段，進而依據這些片段對動作進行識別。然而，該方法缺乏對時間建模的能力，這導致對某些行為的理解錯誤。Lin等人提出時間移位模塊(TSM)對時間進行建模，該方法沿著時間維度移動部分通道，在不增加額外計算量的情況下傳遞時間信息。然而，這些方法并不能充分地提取和利用其運動特征提高動作識別的準確性。因此，開發一個高效的視頻動作識別方法仍然是一個挑戰。

針對當前基于三維卷積神經網絡的視頻動作識別方法計算耗時，不利于在移動場景中使用，而基于二維卷積神經網絡的方法缺乏對時間建模的能力，進而影響識別準確性的缺點，需要研究一種兼顧計算效率和識別準確率的方法對視頻動作進行有效識別。

發明內容

本發明提出一種基于時間和運動增強的視頻動作識別方法，該方法使用多路徑時間增強模塊聚合由各種激發模塊激發的多路徑時間信息。接著使用長短程運動增強模塊來編碼相鄰和非相鄰幀之間的運動特征。這兩個模塊依次連接在一起可以形成一個通用的模塊，即時間和運動增強模塊，該模塊可以插入任意一個二維卷積神經網絡中進行動作識別。本方法采用的技術方案包含以下步驟：

步驟1：設計一個多路徑時間增強模塊，聚合由各種激發模塊激發的多路徑時間信息；

步驟2：設計一個長短程運動增強模塊，編碼相鄰和非相鄰視頻幀之間的運動特征；

步驟3：將多路徑時間增強模塊和長短程運動增強模塊依次連接在一起，形成時間和運動增強模塊，并將其嵌入到一個二維卷積神經網絡中；

步驟4：在動作識別的數據集上進行參數學習，將輸入的視頻片段進行稀疏采樣并獲得8幀圖像，然后對它們進行預處理后導入步驟3的網絡進行訓練；

步驟5：在動作識別的數據集上對步驟4得到的算法進行評估，并輸出對應的測試結果；

本發明提出的基于時間和運動增強的視頻動作識別方法，相對于傳統視頻動作識別方法有以下優點：

(1)本發明針對時間和運動增強的視頻動作識別方法，提出使用時間和運動增強模塊聚合多類型的時間特征和提取長短程運動信息對動作進行識別，提高了識別的有效性和實時性。