[發(fā)明專利]一種基于非對(duì)稱多流的動(dòng)作檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910458481.3
• 申請(qǐng)日: 2019-05-29
• 公開(kāi)（公告）號(hào): CN110263666B
• 公開(kāi)（公告）日: 2021-01-19
• 發(fā)明（設(shè)計(jì)）人: 王樂(lè);康子健;劉子熠;鄭南寧
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 范巍

1.一種基于非對(duì)稱多流的動(dòng)作檢測(cè)方法，其特征在于，包括以下步驟：

步驟1，采集若干已標(biāo)注視頻標(biāo)簽的先驗(yàn)視頻，從先驗(yàn)視頻的幀信息中提取RGB圖像和光流；通過(guò)提取的RGB圖像并結(jié)合視頻標(biāo)簽訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，獲得訓(xùn)練好的RGB圖像單流網(wǎng)絡(luò)；通過(guò)提取的光流并結(jié)合視頻標(biāo)簽訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，獲得訓(xùn)練好的光流單流網(wǎng)絡(luò)；

步驟2，通過(guò)步驟1獲得的訓(xùn)練好的RGB圖像單流網(wǎng)絡(luò)和光流單流網(wǎng)絡(luò)，分別提取步驟1采集的先驗(yàn)視頻中每幀的圖像流特征信息和光流特征信息；

步驟3，根據(jù)步驟2提取的圖像流特征信息和光流特征信息，并結(jié)合動(dòng)作標(biāo)簽，訓(xùn)練非對(duì)稱雙流網(wǎng)絡(luò)，最終獲得訓(xùn)練好的非對(duì)稱雙流網(wǎng)絡(luò)；其中，非對(duì)稱雙流網(wǎng)絡(luò)訓(xùn)練的過(guò)程包括：將圖像流特征信息和光流特征信息結(jié)合作為輸入，輸出多流分類結(jié)果和多流注意力權(quán)重，加權(quán)多流分類結(jié)果獲得視頻分類向量，最小化非對(duì)稱雙流網(wǎng)絡(luò)的損失函數(shù)；

步驟4，通過(guò)步驟1獲得的訓(xùn)練好的RGB圖像單流網(wǎng)絡(luò)和光流單流網(wǎng)絡(luò)，分別提取待檢測(cè)的目標(biāo)視頻中每幀的圖像流特征信息和光流特征信息；

步驟5，根據(jù)步驟4提取的圖像流特征信息和光流特征信息，獲得目標(biāo)視頻的段特征；將目標(biāo)視頻的段特征輸入步驟3獲得的訓(xùn)練好的非對(duì)稱雙流網(wǎng)絡(luò)，輸出段分類向量和段注意力權(quán)重；根據(jù)段分類向量和段注意力權(quán)重計(jì)算獲得視頻分類向量；

步驟6，從步驟5獲得的視頻分類向量中選擇置信度大于預(yù)設(shè)值的動(dòng)作作為潛在動(dòng)作；其中，對(duì)于潛在動(dòng)作a，從步驟5中獲得的段分類向量中抽取潛在動(dòng)作a的分類權(quán)重，獲得潛在動(dòng)作a的動(dòng)作識(shí)別序列；通過(guò)潛在動(dòng)作a的動(dòng)作識(shí)別序列完成動(dòng)作a的檢測(cè)；

其中，步驟3的非對(duì)稱雙流網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，圖像流和光流信息結(jié)合的方式為：將光流特征信息作為主信息流；將圖像流特征信息和光流特征信息進(jìn)行降維與融合后，作為輔助信息流；將主信息流與輔助信息流拼合獲得雙流特征信息；

步驟3中，非對(duì)稱雙流網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

對(duì)輸入的多流信息非對(duì)稱降維和融合，所述多流信息包括主信息流和輔助信息流；其中，非對(duì)稱降維表示不同流信息降維比例不同，融合指使用相加、拼接或神經(jīng)網(wǎng)絡(luò)合并特征向量；

使用分類神經(jīng)網(wǎng)絡(luò)處理融合了非對(duì)稱雙流信息的特征向量，輸出對(duì)應(yīng)輸入特征的分類向量x和注意力權(quán)重λ；

通過(guò)softmax方法對(duì)分類向量和注意力權(quán)重歸一化；通過(guò)對(duì)來(lái)自視頻中多個(gè)的分類向量和注意力權(quán)重進(jìn)行加權(quán)求和，獲得視頻分類向量。

2.根據(jù)權(quán)利要求1所述的一種基于非對(duì)稱多流的動(dòng)作檢測(cè)方法，其特征在于，步驟6中還包括：使用閾值將獲得的動(dòng)作識(shí)別序列中的誤動(dòng)作剔除，獲得剔除誤動(dòng)作后的動(dòng)作識(shí)別序列；對(duì)剔除誤動(dòng)作后的動(dòng)作識(shí)別序列進(jìn)行最近鄰插值，獲得與目標(biāo)視頻幀數(shù)一一對(duì)應(yīng)的激活序列；根據(jù)激活序列提取獲得動(dòng)作片段和動(dòng)作片段置信度。

3.根據(jù)權(quán)利要求2所述的一種基于非對(duì)稱多流的動(dòng)作檢測(cè)方法，其特征在于，步驟6中使用的閾值為經(jīng)驗(yàn)值或自適應(yīng)閾值；

其中，自適應(yīng)閾值在非對(duì)稱雙流網(wǎng)絡(luò)訓(xùn)練時(shí)統(tǒng)計(jì)，具體步驟包括：

預(yù)設(shè)自適應(yīng)閾值比例為p_th，p_th表示自適應(yīng)閾值所對(duì)應(yīng)的分位數(shù)，分位數(shù)為小于1大于0的小數(shù)；

統(tǒng)計(jì)所有先驗(yàn)視頻的注意力權(quán)重，注意力權(quán)重序列其中λ_t為序列中得第t位；對(duì)序列K重新排序，使得λ_i＜λ_j，i＜j，其中i，j為排序后得序號(hào)；

取排在第[m*p_th]位的權(quán)重為自適應(yīng)權(quán)重；其中，[]表示取整。

4.根據(jù)權(quán)利要求1所述的一種基于非對(duì)稱多流的動(dòng)作檢測(cè)方法，其特征在于，步驟3中，

獲得輔助信息流的步驟包括：將輸入的光流特征和圖像流特征降維，使用全連接或雙線性神經(jīng)網(wǎng)絡(luò)融合降維的光流特征和特性特征；

另外，輔助信息流降維比例大于主信息流的降維比例；輔助信息流降維比例大于0且小于1/4。