[發(fā)明專利]一種基于時(shí)間分段網(wǎng)絡(luò)的視頻動(dòng)作識(shí)別方法及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011388953.1
• 申請(qǐng)日: 2020-12-02
• 公開（公告）號(hào): CN112733595A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 歐陽黎;程鶯;彭冰莉;符婭婭;劉揚(yáng)華;楊蓓;賀浩;周小艷
• 申請(qǐng)（專利權(quán)）人: 國網(wǎng)湖南省電力有限公司;國網(wǎng)湖南省電力有限公司供電服務(wù)中心（計(jì)量中心）;國家電網(wǎng)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 長沙智路知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43244
• 代理人: 張毅

1.一種基于時(shí)間分段網(wǎng)絡(luò)的視頻動(dòng)作識(shí)別方法，其特征在于，包括：

S1、將輸入的視頻數(shù)據(jù)等間隔分為多個(gè)視頻分段，再對(duì)各視頻分段均執(zhí)行相同的隨機(jī)采樣操作，獲取各視頻分段的多個(gè)子片段；

S2、利用時(shí)間分段網(wǎng)絡(luò)對(duì)各視頻分段的多個(gè)子片段進(jìn)行建模，得到多個(gè)建模后的子片段；

S3、基于BN-Inception網(wǎng)絡(luò)的參數(shù)，設(shè)定時(shí)間分段網(wǎng)絡(luò)的初始參數(shù)；

S4、訓(xùn)練時(shí)間分段網(wǎng)絡(luò)，基于隨機(jī)梯度優(yōu)化方法動(dòng)態(tài)在初始參數(shù)上進(jìn)行調(diào)整，直到段共識(shí)損失函數(shù)最小；

S5、將多個(gè)建模后的子片段輸入訓(xùn)練完的時(shí)間分段網(wǎng)絡(luò)，通過段共識(shí)損失函數(shù)組合多個(gè)視頻分段的輸出，并經(jīng)Softmax融合函數(shù)得出視頻數(shù)據(jù)中概率最高的動(dòng)作類別，即為視頻數(shù)據(jù)的動(dòng)作識(shí)別的結(jié)果。

2.如權(quán)利要求1所述的一種基于時(shí)間分段網(wǎng)絡(luò)的視頻動(dòng)作識(shí)別方法，其特征在于，步驟S1包括：

S11、將輸入的視頻數(shù)據(jù)等間隔分為K個(gè)視頻分段，表示為：

{S₁,S₂,…,S_K}，3≤K≤10；

S12、利用稀疏采樣策略從各分段視頻中隨機(jī)采樣K個(gè)子片段，表示為：

{T₁,T₂,…,T_K},

所述子片段包括一幀RGB圖像與光流序列；

S13、對(duì)各所述子片段做相同的數(shù)據(jù)增強(qiáng)操作，得到經(jīng)數(shù)據(jù)增強(qiáng)后的RGB圖像和光流序列。

3.如權(quán)利要求2所述的一種基于時(shí)間分段網(wǎng)絡(luò)的視頻動(dòng)作識(shí)別方法，其特征在于，步驟S13中，所述數(shù)據(jù)增強(qiáng)操作為：

S131、基于RGB圖像和光流序列中光流圖像的角點(diǎn)或中心，對(duì)各所述子片段進(jìn)行角剪裁；

S132、固定角剪裁后的圖像和光流序列大小，剪裁區(qū)域的寬和高隨機(jī)從{256,224,192,168}中選擇，進(jìn)行尺度抖動(dòng)；

S133、確定經(jīng)尺度抖動(dòng)后的剪裁區(qū)域的固定大小，得到經(jīng)數(shù)據(jù)增強(qiáng)后的RGB圖像和光流序列。

4.如權(quán)利要求3所述的一種基于時(shí)間分段網(wǎng)絡(luò)的視頻動(dòng)作識(shí)別方法，其特征在于，步驟S2中，利用時(shí)間分段網(wǎng)絡(luò)對(duì)子片段進(jìn)行如下建模：

TSN(T₁,T₂,…,T_K)＝Softmax(g(F(T₁,W),F(T₂,W),…F(T_K,W)))，

G＝g(F(T₁,W),F(T₂,W),…,F(T_K,W))，

其中，TSN是時(shí)間分段網(wǎng)絡(luò)，時(shí)間分段網(wǎng)絡(luò)包括空間流網(wǎng)絡(luò)與時(shí)間流網(wǎng)絡(luò)，F(xiàn)(T_K,W)是帶有參數(shù)W的二維卷積函數(shù)，G是段共識(shí)函數(shù)，g是聚合函數(shù)，Softmax是雙流融合函數(shù)。

5.如權(quán)利要求4所述的一種基于時(shí)間分段網(wǎng)絡(luò)的視頻動(dòng)作識(shí)別方法，其特征在于，步驟S3包括：

S31、在ImageNet數(shù)據(jù)集上對(duì)BN-Inception網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練；

S32、將經(jīng)預(yù)訓(xùn)練的BN-Inception網(wǎng)絡(luò)參數(shù)作為空間流網(wǎng)絡(luò)的起調(diào)參數(shù)，使用經(jīng)數(shù)據(jù)增強(qiáng)后的RGB圖像，對(duì)所述空間流網(wǎng)絡(luò)的起調(diào)參數(shù)進(jìn)行調(diào)整，得到經(jīng)調(diào)整的空間流網(wǎng)絡(luò)參數(shù)；

S33、將經(jīng)調(diào)整的空間流網(wǎng)絡(luò)參數(shù)中第一個(gè)卷積層權(quán)重的平均值作為時(shí)間流網(wǎng)絡(luò)的起調(diào)參數(shù)，使用經(jīng)數(shù)據(jù)增強(qiáng)后的光流序列，對(duì)所述時(shí)間流網(wǎng)絡(luò)的起調(diào)參數(shù)進(jìn)行調(diào)整，得到經(jīng)調(diào)整的時(shí)間流網(wǎng)絡(luò)參數(shù)；

S34、將經(jīng)調(diào)整的空間流網(wǎng)絡(luò)參數(shù)和經(jīng)調(diào)整的時(shí)間流網(wǎng)絡(luò)參數(shù)分別作為空間流網(wǎng)絡(luò)的初始參數(shù)與時(shí)間流網(wǎng)絡(luò)的初始參數(shù)。