[發明專利]一種基于運動邊界小位移的高效運動表征方法及裝置

在審

• 申請號: 201910811947.3
• 申請日: 2019-08-30
• 公開（公告）號: CN112446245A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 鄒月嫻;張粲
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于運動邊界小位移的高效運動表征方法及裝置。其中，所述方法包括以下步驟：步驟1、抽取視頻序列中的相鄰N幀的原始圖像；步驟2、利用卷積神經網絡處理相鄰N幀的原始圖像，獲得相應的淺層特征圖；步驟3、對相鄰N幀的所有相鄰兩幀的淺層特征圖進行差異計算，獲得所有相鄰兩幀在特征空間中的差異圖；步驟4、將所有相鄰兩幀在特征空間中的差異圖沿著通道維度進行差異累積；步驟5、按編碼方案對差異累積結果進行編碼，從而獲得本發明所述的高效運動表征。相比于一些依賴光流作為運動表征的方法，本發明無需預先進行復雜的光流計算，可以通過計算淺層特征空間上的差異來建模運動邊界小位移，從而極大降低運動表征計算的復雜度。

技術領域

本發明涉及視覺感知和人工智能技術，尤其涉及一種基于運動邊界小位移的高效運動表征方法及裝置，主要通過對淺層神經網絡提取的特征圖在特征空間進行差異計算和累積，能夠有效建模運動邊界小位移作為運動表征。

背景技術

運動表征在近年來的計算機視覺研究中被廣泛采用，尤其是視頻理解任務。當前主流的基于視頻的深度學習任務，比如：動作識別、視頻描述、視頻預測等，除了原始彩色3通道RGB圖像作為輸入來提供外觀信息外，還需要運動表征作為其中一種輸入模態，用以提供時序相關的短程運動信息作為學習輔助。運動表征的建模逐漸成為視覺感知和人工智能領域的一個重要研究方向。視頻理解在現實場景中有很多潛在的應用，比如：智能監控、視頻檢索、智慧安防、異常行為檢測等。

當前主流的視頻理解方法依賴于光流作為運動表征，由于光流卓越的性能表現，光流常被用于建模短程運動。但是，光流的預先計算需要消耗大量的計算資源和存儲空間，這約束了基于光流的視頻理解方法在實時場景中的應用。為了克服光流計算效率低下的問題，最近一些方法設計卷積神經網絡用于快速光流估計。雖然光流估計的速度得到了較大提升，但是這類方法仍然存在兩大問題：（1）先計算光流再送入深度神經網絡這一過程是兩階段的，不可以端到端訓練，實時場景中的應用仍然受限；（2）光流估計的準確率和最終視頻理解任務的性能表現沒有很好的相關性。還有一些方法試圖直接從RGB圖像中重建光流，然而在訓練階段，仍然需要提取好的光流作為監督信息，這嚴重制約了訓練的速度。

由于視頻時序信息的復雜性，運動信息的建模始終是視頻理解任務的一個巨大的挑戰。如何在網絡端到端的訓練過程中，快速有效地建模視頻中的時序短程運動信息，對于動作識別以及其他基于視頻的智能視覺感知任務而言，是非常重要的。

發明內容

本發明針對當前主流視頻理解方法嚴重依賴光流作為運動表征，計算復雜度高、耗時的問題，提出一種基于運動邊界小位移的高效運動表征方法及裝置。本發明通過對淺層神經網絡提取的特征圖在特征空間進行差異計算和累積，能夠快速有效建模運動邊界小位移作為深度神經網絡中所需要的運動表征；由于無需預先計算的光流作為運動輔助信息，方法及裝置的運行速度滿足實時視頻理解的要求。

本發明所采用的技術方案如下：

一種基于運動邊界小位移的高效運動表征方法，包括以下步驟：

步驟1、抽取視頻序列中的相鄰N幀的原始圖像；

步驟2、利用卷積神經網絡處理相鄰N幀的原始圖像，獲得相應的淺層特征圖；

步驟3、對相鄰N幀的所有相鄰兩幀的淺層特征圖進行差異計算，獲得所有相鄰兩幀在特征空間中的差異圖；

步驟4、將所有相鄰兩幀在特征空間中的差異圖沿著通道維度進行差異累積；

步驟5、按編碼方案對差異累積結果進行編碼，從而獲得本發明所述的高效運動表征。

進一步地，步驟1中所述相鄰N幀為在時序關系上相鄰的N個圖像幀，N為預先設定好的大于等于2的整數，則一段視頻序列抽取相鄰N幀的原始圖像作為采樣幀。

進一步地，步驟2中所述卷積神經網絡包括卷積層、批正則化層、ReLU層；所述卷積神經網絡的輸入是N個相鄰采樣幀的原始圖像，輸出是卷積神經網絡特定層對應N組幀級別的特征圖，作為該幀在特征空間上的外觀表征。