[發(fā)明專(zhuān)利]基于非關(guān)鍵幀擾動(dòng)的視頻序列樣本增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210808388.2
• 申請(qǐng)日: 2022-07-11
• 公開(kāi)（公告）號(hào): CN115205741A
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 柯逍;劉浩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 福州大學(xué)
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V20/52;G06V40/10;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 福州元?jiǎng)?chuàng)專(zhuān)利商標(biāo)代理有限公司 35100
• 代理人: 丘鴻超;蔡學(xué)俊

本發(fā)明涉及一種基于非關(guān)鍵幀擾動(dòng)的視頻序列樣本增強(qiáng)方法，包括步驟S1：在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，將輸入視頻序列樣本送入視頻行人重識(shí)別網(wǎng)絡(luò)模型中，并根據(jù)網(wǎng)絡(luò)輸出結(jié)果計(jì)算損失；步驟S2：對(duì)視頻序列樣本計(jì)算其梯度方向；步驟S3：對(duì)視頻序列中每一個(gè)視頻幀計(jì)算該視頻幀下的梯度方向絕對(duì)值的總和；步驟S4：根據(jù)視頻序列中每一幀的總和值，計(jì)算獲得視頻序列中前n_k個(gè)總和值最大的幀的索引，并視為此視頻序列中的關(guān)鍵幀；步驟S5：根據(jù)關(guān)鍵幀的索引，對(duì)視頻序列中其他非關(guān)鍵幀進(jìn)行隨機(jī)高斯噪聲擾動(dòng)；步驟S6：經(jīng)過(guò)擾動(dòng)后的非關(guān)鍵幀替換掉原視頻序列中對(duì)應(yīng)索引的幀，構(gòu)建新的視頻序列樣本，再次送入視頻重識(shí)別網(wǎng)絡(luò)中進(jìn)行后續(xù)訓(xùn)練。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域領(lǐng)域，特別是基于非關(guān)鍵幀擾動(dòng)的視頻序列樣本增強(qiáng)方法。

背景技術(shù)

視頻行人重識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)話(huà)題，旨在將行人與連續(xù)的視頻序列相匹配。與基于圖像的行人重識(shí)別任務(wù)相比，視頻行人重識(shí)別更接近實(shí)際應(yīng)用，可用于視頻監(jiān)控、尋找丟失的人等。現(xiàn)有的視頻行人重識(shí)別方法專(zhuān)注于從時(shí)空中提取特征，忽視了對(duì)視頻序列中每個(gè)幀的質(zhì)量，由于連續(xù)視頻序列中可能存在某幾幀中目標(biāo)被遮擋、目標(biāo)丟失等低質(zhì)量情況，若是將所有視頻幀都視為同質(zhì)量的訓(xùn)練數(shù)據(jù)的話(huà)，則會(huì)弱化網(wǎng)絡(luò)模型的學(xué)習(xí)能力，無(wú)法訓(xùn)練一個(gè)魯棒的視頻行人重識(shí)別網(wǎng)絡(luò)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提出基于非關(guān)鍵幀擾動(dòng)的視頻序列樣本增強(qiáng)方法。首先，本發(fā)明通過(guò)利用符號(hào)函數(shù)對(duì)視頻序列樣本中的梯度方向進(jìn)行計(jì)算，并對(duì)視頻序列中每一幀進(jìn)行影響度統(tǒng)計(jì)，提取前n_k個(gè)影響度最高的幀視為關(guān)鍵幀，提出了一種新的基于梯度方向的視頻序列關(guān)鍵幀提取方法，這些關(guān)鍵幀有助于網(wǎng)絡(luò)學(xué)習(xí)可判別性信息。針對(duì)非關(guān)鍵幀影響度不高的特點(diǎn)，本發(fā)明對(duì)非關(guān)鍵幀施加隨機(jī)高斯噪聲，構(gòu)建一個(gè)新的突出關(guān)鍵幀的視頻序列樣本，讓網(wǎng)絡(luò)能通過(guò)對(duì)抗學(xué)習(xí)減少了非關(guān)鍵幀數(shù)據(jù)對(duì)模型的影響，從而提升視頻行人重識(shí)別網(wǎng)絡(luò)的魯棒性。

首先，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，將輸入視頻序列樣本送入視頻行人重識(shí)別網(wǎng)絡(luò)模型中，并根據(jù)網(wǎng)絡(luò)輸出結(jié)果計(jì)算損失；隨后，使用符號(hào)函數(shù)sign()對(duì)視頻序列樣本計(jì)算其梯度方向；接著，對(duì)視頻序列中每一個(gè)視頻幀使用求和sum()函數(shù)計(jì)算該視頻幀下的梯度方向絕對(duì)值的總和；然后，根據(jù)視頻序列中每一幀的總和值，使用求前n_k個(gè)最大值函數(shù)topk()獲得視頻序列中前n_k個(gè)總和值最大的幀的索引，并視為此視頻序列中的關(guān)鍵幀；之后，根據(jù)關(guān)鍵幀的索引，對(duì)視頻序列中其他非關(guān)鍵幀進(jìn)行隨機(jī)高斯噪聲擾動(dòng)；最后，經(jīng)過(guò)擾動(dòng)后的非關(guān)鍵幀替換掉原視頻序列中對(duì)應(yīng)索引的幀，構(gòu)建新的視頻序列樣本，再次送入視頻重識(shí)別網(wǎng)絡(luò)中進(jìn)行后續(xù)訓(xùn)練。本發(fā)明能夠提高視頻行人重識(shí)別場(chǎng)景下的檢索效果。

本發(fā)明具體采用以下技術(shù)方案：

一種基于非關(guān)鍵幀擾動(dòng)的視頻序列樣本增強(qiáng)方法，其特征在于，包括以下步驟：

步驟S1：在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，將輸入視頻序列樣本送入視頻行人重識(shí)別網(wǎng)絡(luò)模型中，并根據(jù)網(wǎng)絡(luò)輸出結(jié)果計(jì)算損失；

步驟S2：對(duì)視頻序列樣本計(jì)算其梯度方向；

步驟S3：對(duì)視頻序列中每一個(gè)視頻幀計(jì)算該視頻幀下的梯度方向絕對(duì)值的總和；

步驟S4：根據(jù)視頻序列中每一幀的總和值，計(jì)算獲得視頻序列中前n_k個(gè)總和值最大的幀的索引，并視為此視頻序列中的關(guān)鍵幀；

步驟S5：根據(jù)關(guān)鍵幀的索引，對(duì)視頻序列中其他非關(guān)鍵幀進(jìn)行隨機(jī)高斯噪聲擾動(dòng)；

步驟S6：經(jīng)過(guò)擾動(dòng)后的非關(guān)鍵幀替換掉原視頻序列中對(duì)應(yīng)索引的幀，構(gòu)建新的視頻序列樣本，再次送入視頻重識(shí)別網(wǎng)絡(luò)中進(jìn)行后續(xù)訓(xùn)練。

進(jìn)一步地，步驟S1具體為：

步驟S11：在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，將輸入視頻序列樣本n_x送入視頻行人重識(shí)別網(wǎng)絡(luò)模型中，由網(wǎng)絡(luò)模型中的分類(lèi)器獲得分類(lèi)分?jǐn)?shù)n_α，其中n_x的形狀為5維張量，分別是批次，幀數(shù)，通道數(shù)，高度，寬度；