[發明專利]一種紅外視頻序列行為識別方法及裝置

在審

• 申請號: 202010099461.4
• 申請日: 2020-02-18
• 公開（公告）號: CN111325140A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 丁萌;吳曉舟;曹云峰;楊汝名
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 鄒仕娟

本發明實施例公開了圖像處理技術領域中的一種紅外視頻序列行為識別方法及裝置。本發明的紅外視頻序列行為識別方法，包括如下步驟：獲取在指定時間內可見光動作視頻數據集的空間動作信息以及光流特征所對應的時間動作信息，同時獲取在指定時間內遷移訓練獲取紅外運動視頻的空間動作信息以及光流特征所對應的時間動作信息；整合所有的空間動作信息以及時間動作信息，對原始紅外動作視頻片段進行動作的分類。本發明能在紅外條件下對視頻序列行為進行識別，可以得到較好的紅外視頻序列行為分類效果。

技術領域

本發明實施例涉及圖像處理技術領域，尤其涉及一種紅外視頻序 列行為識別方法及裝置。

背景技術

人體行為識別在科技、生活中有著廣泛的應用，如視頻監控、人 機交互、虛擬現實和視頻檢索等，因此特別是現今視頻數據呈指數增 長，智能的人體識別技術具有很高的研究價值和應用前景。

紅外視頻序列有著特殊的應用環境和場景，適用于低照度比如傍 晚、夜間、陰天等光線不足的情況之下。紅外視頻由于設備的限制， 成像原理的不同，針對紅外視頻的行為識別研究的還不夠充分。

發明內容

本發明實施例提供一種紅外視頻序列行為識別方法及裝置，以解 決上述技術背景中提及的技術問題。

本發明實施例提供紅一種外視頻序列行為識別方法。在一種可行 的方案中，包括如下步驟：

獲取在指定時間內可見光動作視頻數據集的空間動作信息以及 光流特征所對應的時間動作信息，同時獲取在指定時間內遷移訓練獲 取紅外運動視頻的空間動作信息以及光流特征所對應的時間動作信 息；整合所有的空間動作信息以及時間動作信息，對原始紅外動作視 頻片段進行動作的分類。

本發明實施例還提供一種外視頻序列行為識別方法。在一種可行 的方案中，可見光動作視頻數據的光流特征所對應的時間動作信息在 指定時間內的獲取步驟如下：

提取可見光數據集中的單個視頻序列前后兩幀之間的光流特征 來捕獲可見光光流幀序列，將可見光光流幀序列劃分為短時間連續光 流視頻幀，作為訓練三維卷積神經網絡參數的輸入端，并測試對應網 絡對可見光運動視頻光流序列的分類效果。

本發明實施例還提供一種外視頻序列行為識別方法。在一種可行 的方案中，可見光動作視頻數據的空間動作信息在指定時間內的獲取 步驟包括：

將可見光集中的單個視頻序列劃分為短時間連續視頻幀，作為訓 練三維卷積神經網絡參數的輸入端，并測試對應網絡對可見光運動視 頻的分類效果。

本發明實施例還提供一種外視頻序列行為識別方法。在一種可行 的方案中，遷移訓練獲取紅外運動視頻的光流特征所對應的時間動作 信息在指定時間內的獲取包括如下步驟：

提取紅外數據集中的單個視頻序列前后兩幀之間的光流特征來 捕獲可見光光流幀序列，將紅外光流幀序列劃分為短時間連續光流視 頻幀作為輸入端，且根據可見光網絡訓練參數進行遷移學習，獲取紅 外三維卷積神經網絡參數，最后，使用網絡學習到的特征訓練svm分 類器，測試對紅外運動視頻光流序列的分類效果。

本發明實施例還提供一種外視頻序列行為識別方法。在一種可行 的方案中，遷移訓練獲取紅外運動視頻的空間動作信息在指定時間內 的獲取，包括：

將紅外數據集中的單個序列劃分為短時間連續視頻幀作為輸入 端，切根據可見光網絡訓練參數進行遷移學習，獲取紅外三維卷積神 經網絡參數，最后，使用網絡學習到的特征訓練svm分類器，測試對 紅外運動視頻的分類效果。

本發明實施例還提供一種外視頻序列行為識別方法。在一種可行 的方案中，對原始紅外動作視頻片段實現動作的分類步驟包括：

將紅外視頻作為輸入的空間信息網絡和時間信息網絡所學習到 的特征進行融合；通過融合后的特征訓練svm分類器，對紅外視頻進 行行為識別。