[發(fā)明專利]一種紅外視頻序列行為識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010099461.4
• 申請(qǐng)日: 2020-02-18
• 公開（公告）號(hào): CN111325140A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 丁萌;吳曉舟;曹云峰;楊汝名
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京眾合誠成知識(shí)產(chǎn)權(quán)代理有限公司 11246
• 代理人: 鄒仕娟

1.一種紅外視頻序列行為識(shí)別方法，其特征在于，包括如下步驟：

獲取在指定時(shí)間內(nèi)可見光動(dòng)作視頻數(shù)據(jù)集的空間動(dòng)作信息以及光流特征所對(duì)應(yīng)的時(shí)間動(dòng)作信息，同時(shí)獲取在指定時(shí)間內(nèi)遷移訓(xùn)練獲取紅外運(yùn)動(dòng)視頻的空間動(dòng)作信息以及光流特征所對(duì)應(yīng)的時(shí)間動(dòng)作信息；整合所有的空間動(dòng)作信息以及時(shí)間動(dòng)作信息，對(duì)原始紅外動(dòng)作視頻片段進(jìn)行動(dòng)作的分類。

2.根據(jù)權(quán)利要求1所述的紅外視頻序列行為識(shí)別方法，其特征在于，可見光動(dòng)作視頻數(shù)據(jù)的光流特征所對(duì)應(yīng)的時(shí)間動(dòng)作信息在指定時(shí)間內(nèi)的獲取步驟如下：

提取可見光數(shù)據(jù)集中的單個(gè)視頻序列前后兩幀之間的光流特征來捕獲可見光光流幀序列，將可見光光流幀序列劃分為短時(shí)間連續(xù)光流視頻幀，作為訓(xùn)練三維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的輸入端，并測(cè)試對(duì)應(yīng)網(wǎng)絡(luò)對(duì)可見光運(yùn)動(dòng)視頻光流序列的分類效果。

3.根據(jù)權(quán)利要求1所述的紅外視頻序列行為識(shí)別方法，其特征在于，可見光動(dòng)作視頻數(shù)據(jù)的空間動(dòng)作信息在指定時(shí)間內(nèi)的獲取步驟包括：

將可見光集中的單個(gè)視頻序列劃分為短時(shí)間連續(xù)視頻幀，作為訓(xùn)練三維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的輸入端，并測(cè)試對(duì)應(yīng)網(wǎng)絡(luò)對(duì)可見光運(yùn)動(dòng)視頻的分類效果。

4.根據(jù)權(quán)利要求1所述的紅外視頻序列行為識(shí)別方法，其特征在于，遷移訓(xùn)練獲取紅外運(yùn)動(dòng)視頻的光流特征所對(duì)應(yīng)的時(shí)間動(dòng)作信息在指定時(shí)間內(nèi)的獲取包括如下步驟：

提取紅外數(shù)據(jù)集中的單個(gè)視頻序列前后兩幀之間的光流特征來捕獲可見光光流幀序列，將紅外光流幀序列劃分為短時(shí)間連續(xù)光流視頻幀作為輸入端，且根據(jù)可見光網(wǎng)絡(luò)訓(xùn)練參數(shù)進(jìn)行遷移學(xué)習(xí)，獲取紅外三維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，最后，使用網(wǎng)絡(luò)學(xué)習(xí)到的特征訓(xùn)練svm分類器，測(cè)試對(duì)紅外運(yùn)動(dòng)視頻光流序列的分類效果。

5.根據(jù)權(quán)利要求1所述的紅外視頻序列行為識(shí)別方法，其特征在于，遷移訓(xùn)練獲取紅外運(yùn)動(dòng)視頻的空間動(dòng)作信息在指定時(shí)間內(nèi)的獲取，包括：

將紅外數(shù)據(jù)集中的單個(gè)序列劃分為短時(shí)間連續(xù)視頻幀作為輸入端，切根據(jù)可見光網(wǎng)絡(luò)訓(xùn)練參數(shù)進(jìn)行遷移學(xué)習(xí)，獲取紅外三維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，最后，使用網(wǎng)絡(luò)學(xué)習(xí)到的特征訓(xùn)練svm分類器，測(cè)試對(duì)紅外運(yùn)動(dòng)視頻的分類效果。

6.根據(jù)權(quán)利要求1所述的紅外視頻序列行為識(shí)別方法，其特征在于，對(duì)原始紅外動(dòng)作視頻片段實(shí)現(xiàn)動(dòng)作的分類步驟包括：

將紅外視頻作為輸入的空間信息網(wǎng)絡(luò)和時(shí)間信息網(wǎng)絡(luò)所學(xué)習(xí)到的特征進(jìn)行融合；通過融合后的特征訓(xùn)練svm分類器，對(duì)紅外視頻進(jìn)行行為識(shí)別。

7.一種紅外視頻序列行為識(shí)別裝置，其特征在于，包括紅外視頻獲取模塊、基礎(chǔ)網(wǎng)絡(luò)參數(shù)訓(xùn)練模塊、紅外網(wǎng)絡(luò)參數(shù)遷移訓(xùn)練模塊和特征提取融合模塊；

所述紅外視頻獲取模塊，用于獲取紅外視頻運(yùn)動(dòng)序列；

所述基礎(chǔ)網(wǎng)絡(luò)參數(shù)訓(xùn)練模塊，用于依靠可見光數(shù)據(jù)集訓(xùn)練時(shí)間信息網(wǎng)絡(luò)和空間信息網(wǎng)絡(luò)的初始參數(shù)；

所述網(wǎng)絡(luò)參數(shù)遷移訓(xùn)練模塊，用于根據(jù)所述基礎(chǔ)網(wǎng)絡(luò)參數(shù)訓(xùn)練模塊將可見光視頻的預(yù)訓(xùn)練參數(shù)對(duì)紅外時(shí)間信息和空間信息網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練；

所述特征提取融合模塊，用于對(duì)紅外時(shí)間及空間信息網(wǎng)絡(luò)所提取的特征進(jìn)行融合，以此訓(xùn)練svm分類器實(shí)現(xiàn)對(duì)紅外運(yùn)動(dòng)序列中行為的分類。

8.根據(jù)權(quán)利要求7所述的紅外視頻序列行為識(shí)別裝置，其特征在于，所述基礎(chǔ)網(wǎng)絡(luò)參數(shù)訓(xùn)練模塊包括可見光視頻數(shù)據(jù)預(yù)處理子模塊、時(shí)間信息網(wǎng)絡(luò)參數(shù)預(yù)訓(xùn)練子模塊和空間信息網(wǎng)絡(luò)參數(shù)預(yù)訓(xùn)練子模塊；

所述可見光視頻數(shù)據(jù)預(yù)處理子模塊，用于根據(jù)三維卷積網(wǎng)絡(luò)的特征對(duì)可見光視頻數(shù)據(jù)進(jìn)行預(yù)處理，且用于對(duì)包括視頻幀尺寸、連續(xù)輸入幀數(shù)的選取、光流的獲得，進(jìn)而獲取適合網(wǎng)絡(luò)訓(xùn)練的輸入數(shù)據(jù)；

所述時(shí)間信息網(wǎng)絡(luò)參數(shù)預(yù)訓(xùn)練子模塊，用于以可見光視頻光流特征做輸入，訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)，得到時(shí)間信息網(wǎng)絡(luò)的初始參數(shù)；

所述空間信息網(wǎng)絡(luò)參數(shù)預(yù)訓(xùn)練子模塊，用于以可見光原視頻做輸入，訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)，得到空間信息網(wǎng)絡(luò)的初始參數(shù)。