[發明專利]一種基于運動邊界小位移的高效運動表征方法及裝置

在審

• 申請號: 201910811947.3
• 申請日: 2019-08-30
• 公開（公告）號: CN112446245A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 鄒月嫻;張粲
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于運動邊界小位移的高效運動表征方法，包括以下步驟：

步驟1、抽取視頻序列中的相鄰N幀的原始圖像；

步驟2、利用卷積神經網絡處理相鄰N幀的原始圖像，獲得相應的淺層特征圖；

步驟3、對相鄰N幀的所有相鄰兩幀的淺層特征圖進行差異計算，獲得所有相鄰兩幀在特征空間中的差異圖；

步驟4、將所有相鄰兩幀在特征空間中的差異圖沿著通道維度進行差異累積；

步驟5、按編碼方案對差異累積結果進行編碼，從而獲得本發明所述的高效運動表征。

2.根據權利要求1所述的方法，其特征在于：

在步驟1中，所述相鄰N幀為在時序關系上相鄰的N個圖像幀，N為預先設定好的大于等于2的整數，則一段視頻序列抽取相鄰N幀的原始圖像作為采樣幀；

在步驟2中，所述卷積神經網絡包括卷積層、批正則化層、ReLU層；所述卷積神經網絡的輸入是N個相鄰采樣幀的原始圖像，輸出是卷積神經網絡特定層對應N組幀級別的特征圖，作為該幀在特征空間上的外觀表征；

在步驟3中，所述差異計算具體指在特征空間層面對特征圖進行對應通道對應像素位置的差異計算；設定這N幀的特征圖通道數為C，則對相鄰N幀的所有相鄰兩幀的特征圖進行逐通道差異計算后，獲得N-1組特征差異圖，每組特征差異圖的通道數仍為C；

在步驟4中，所述差異累積以組為單位，每組特征差異圖的差異累積沿著該組的通道維度進行，差異累積操作完成后，通道數變為1，則N-1組通道數為C的特征差異圖在差異累積后的通道數變為1；

在步驟5中，所述編碼方案用于對差異結果進行編碼，不同的任務需采用不同的編碼方案，進而得到任務相關的所述高效運動表征。

3.根據權利要求1或2所述的方法，其特征在于，所述差異計算的具體步驟為：設定一段視頻序列抽取相鄰兩幀的原始圖像作為采樣幀，所述卷積神經網絡輸出的相鄰兩幀淺層特征圖為集合{F_i(p,t)}和{F_i(p,t+Δt)}，通道數為C，空間分辨率“寬度×高度”為“W×H”；其中，C、W和H均為大于等于1的整數，i代表通道索引，i的取值范圍為閉區間[1,C]，p=(x,y)為特征圖空間維度上的任意一點坐標，x的取值范圍為閉區間[1,W]，y的取值范圍為[1,H]，t代表相鄰兩幀中靠前的一幀的時間戳，t+Δt代表相鄰兩幀中靠后的一幀的時間戳；則對相鄰兩幀淺層特征圖進行差異計算所得到的第i個通道的差異圖元素D_i(p,Δt)可以表示為：

D_i(p,Δt)=F_i(p,t+Δt)-F_i(p,t)；

則所述對相鄰兩幀淺層特征圖進行差異計算后將會得到1組C個空間分辨率為W×H的差異圖，表示為集合{D_i(p,Δt)}。

4.根據權利要求1或2所述的方法，其特征在于，所述差異累積的具體步驟為：設定相鄰兩幀淺層特征圖進行差異計算后得到的差異圖為集合{D_i(p,Δt)}，則沿著通道維度進行差異累積可以表示為：

；

上式D為差異累積結果，通道數由C壓縮為1，空間分辨率不變，仍為W×H。

5.根據權利要求1或2所述的方法，其特征在于，所述編碼方案為：設定對相鄰N幀的所有相鄰兩幀的淺層特征圖進行差異計算和差異累積后得到N-1個通道數為1的差異累積結果，將他們按時序進行通道合并，則得到1組通道數為N-1的特征作為所述運動表征。

6.根據權利要求1至3任意一項所述的方法，其特征在于，所述采樣幀的原始圖像為3通道RGB彩色圖像。

7.根據權利要求1或3或4所述的方法，其特征在于，所述淺層特征圖為只通過卷積神經網絡的第一層部分，即只經過一組卷積層輸出的特征圖。

8.一種基于運動邊界小位移的高效運動表征裝置，其特征在于，包括：

相鄰幀采樣單元，用于對視頻序列的相鄰多幀進行采樣處理，獲得多個相鄰采樣幀的原始圖像；

淺層特征提取單元，用于利用淺層卷積神經網絡對采樣幀進行抽象化處理，獲得所述用于代表各采樣幀的淺層特征圖；

差異計算單元，用于對所述相鄰N幀的所有相鄰兩幀的淺層特征圖進行差異計算，獲得在特征空間中的差異圖；

差異累積單元，用于對所述所有相鄰兩幀在特征空間中的差異圖沿著通道維度進行差異累積，獲得所述差異累積結果；

編碼單元，用于采用編碼方案對差異累積結果進行編碼，獲得本發明所述的高效運動表征。