[發明專利]基于層次動態深度投影差值圖像表示的視頻行為識別方法及系統

有效

• 申請號: 201811327041.6
• 申請日: 2018-11-08
• 公開（公告）號: CN109460734B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 馬昕;武寒波;榮學文;宋銳;田新誠;田國會;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

1.一種基于層次動態深度投影差值圖像表示的視頻行為識別方法，其特征在于，包括：

對于一個深度視頻序列，在三個正交的笛卡爾平面中分別進行投影得到對應平面的深度投影圖序列；

根據每一個投影平面內的深度投影圖序列，構建深度視頻在該平面內的層次動態深度投影差值圖像表示；層次動態深度投影差值圖像表示能夠從不同的時間尺度同時編碼視頻中行為的時空運動動態，包含了豐富的行為運動信息；

將深度視頻在三個投影平面內生成的層次動態深度投影差值圖像表示分別輸入三個相同的預訓練后的卷積神經網絡CNN中，分別提取CNN三個不同網絡層的輸出；對于每一個網絡層輸出，融合三個投影平面的行為信息進行分類與識別；

根據每一個投影平面內的深度投影圖序列，構建深度視頻在該平面內的層次動態深度投影差值圖像表示，具體為：

對每個平面中的深度投影圖序列按照時間順序進行層次采樣，生成不同時間尺度下的采樣深度投影圖序列；

通過計算每一個時間尺度下的采樣深度投影圖序列中相鄰兩幀圖像的絕對幀差得到深度投影差值圖像序列；

使用排序池化來編碼深度投影差值圖像序列，生成動態深度投影差值圖像；

每個投影平面中不同時間尺度下的動態深度投影差值圖像構成了深度視頻在該平面內的層次動態深度投影差值圖像表示。

2.如權利要求1所述的一種基于層次動態深度投影差值圖像表示的視頻行為識別方法，其特征在于，對于一個深度視頻序列，在三個正交的笛卡爾平面中分別進行投影得到對應的深度投影圖序列，具體為：深度視頻序列中的每一幀被投影在三個2D正交的笛卡爾平面內，其中X-Y平面表示前向，Y-Z平面表示側向，X-Z平面表示俯向。

3.如權利要求1所述的一種基于層次動態深度投影差值圖像表示的視頻行為識別方法，其特征在于，對每個平面中的深度投影圖序列按照時間順序進行層次采樣，生成不同時間尺度下的采樣深度投影圖序列，具體為：

基于深度投影圖序列，從初始幀開始以采樣步長s按照時間順序進行采樣；初始幀在采樣過程中以步長s_f沿時間軸進行不斷地更新；

每個投影平面內原始的深度投影圖序列記為第一個時間尺度；

初始幀被初始化為第一幀，按照采樣步長s得到第二個時間尺度下的采樣深度投影圖序列，所包含的圖像幀數為[N/s]，[N/s]表示大于N/s的最小整數，N表示視頻序列的幀數；

按照步長s_f更新初始幀，繼續進行采樣，得到第三個時間尺度下的采樣深度投影圖序列；

依次類推，直至初始幀達到移動下限。

4.如權利要求3所述的一種基于層次動態深度投影差值圖像表示的視頻行為識別方法，其特征在于，初始幀的移動下限具體為：

設置一個比例閾值r來限定初始幀移動的下限，即初始幀索引不超過N*r，以保證采樣序列能夠包含完整的行為信息。