[發(fā)明專利]一種視頻目標(biāo)檢測方法、裝置、設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010819564.3
• 申請日: 2020-08-14
• 公開（公告）號: CN112101114A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計）人: 韓鳴飛;王亞立;喬宇
• 申請（專利權(quán)）人: 中國科學(xué)院深圳先進技術(shù)研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 44414
• 代理人: 李艷麗

1.一種視頻目標(biāo)檢測方法，其特征在于，包括：

獲取待檢測視頻中的目標(biāo)視頻幀以及支撐視頻幀；所述目標(biāo)視頻幀為所述待檢測視頻中包含目標(biāo)物體的任一幀視頻幀；所述支撐視頻幀包括所述待檢測視頻中除所述目標(biāo)視頻幀外的至少一個視頻幀；

將所述目標(biāo)視頻幀以及所述支撐視頻幀輸入到已訓(xùn)練的視頻目標(biāo)檢測模型中處理，得到所述目標(biāo)物體對應(yīng)的檢測結(jié)果；所述檢測結(jié)果包括所述目標(biāo)物體對應(yīng)的類別和位置信息；其中，所述視頻目標(biāo)檢測模型基于訓(xùn)練樣本視頻集中各個視頻內(nèi)的物體相似度以及訓(xùn)練樣本視頻集中各個視頻間的物體相似度生成。

2.如權(quán)利要求1所述的視頻目標(biāo)檢測方法，其特征在于，所述將所述目標(biāo)視頻幀以及所述支撐視頻幀輸入到已訓(xùn)練的視頻目標(biāo)檢測模型中處理，得到所述目標(biāo)視頻幀對應(yīng)的檢測結(jié)果之前，還包括：

基于初始視頻目標(biāo)檢測網(wǎng)絡(luò)、所述訓(xùn)練樣本視頻集中各個視頻內(nèi)的物體相似度、所述訓(xùn)練樣本視頻集中各個視頻間的物體相似度以及候選物體關(guān)系規(guī)約生成所述視頻目標(biāo)檢測模型；所述候選物體關(guān)系規(guī)約用于在所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)訓(xùn)練過程中約束各個候選物體之間的關(guān)系。

3.如權(quán)利要求2所述的視頻目標(biāo)檢測方法，其特征在于，所述基于初始視頻目標(biāo)檢測網(wǎng)絡(luò)、所述訓(xùn)練樣本視頻集中各個視頻內(nèi)的物體相似度、所述訓(xùn)練樣本視頻集中各個視頻間的物體相似度以及候選物體關(guān)系規(guī)約生成所述視頻目標(biāo)檢測模型，包括：

在所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)中基于在所述訓(xùn)練樣本視頻集中選取的樣本視頻以及支撐視頻構(gòu)建視頻三元組；所述訓(xùn)練樣本視頻集包括多個視頻以及每個視頻中包含的每個物體所對應(yīng)的樣本物體特征；

基于所述視頻三元組中每個視頻所對應(yīng)的物體特征，構(gòu)建候選物體三元組；

基于所述候選物體三元組中每個候選物體對應(yīng)的物體特征，確定樣本視頻中目標(biāo)視頻幀所對應(yīng)的目標(biāo)候選物體特征；

基于所述候選物體三元組中每個候選物體對應(yīng)的物體特征，構(gòu)建所述候選物體關(guān)系規(guī)約；

對所述目標(biāo)候選物體特征進行識別與定位，得到所述樣本視頻中目標(biāo)視頻幀對應(yīng)的檢測結(jié)果；

根據(jù)預(yù)設(shè)的損失函數(shù)計算所述目標(biāo)候選物體特征與樣本物體特征之間的損失值；

當(dāng)所述損失值或所述候選物體關(guān)系規(guī)約不滿足預(yù)設(shè)條件時，調(diào)整所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，并返回繼續(xù)訓(xùn)練所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)；當(dāng)所述損失值以及所述候選物體關(guān)系規(guī)約均滿足所述預(yù)設(shè)條件時，停止訓(xùn)練所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)，并將訓(xùn)練后的所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)作為所述視頻目標(biāo)檢測模型。

4.如權(quán)利要求3所述的視頻目標(biāo)檢測方法，其特征在于，所述支撐視頻的數(shù)量不少于三個；所述在所述初始視頻目標(biāo)檢測網(wǎng)絡(luò)中基于在所述訓(xùn)練樣本視頻集中選取的樣本視頻以及支撐視頻構(gòu)建視頻三元組，包括：

獲取所述樣本視頻對應(yīng)的第一特征向量，以及獲取每個所述支撐視頻對應(yīng)的第二特征向量；

確定所述第一特征向量與每個所述第二特征向量之間的相似度；

基于所述相似度在多個所述支撐視頻中選取目標(biāo)支撐視頻，并基于所述樣本視頻以及所述目標(biāo)支撐視頻構(gòu)建所述視頻三元組。

5.如權(quán)利要求3所述的視頻目標(biāo)檢測方法，其特征在于，所述基于所述視頻三元組中每個視頻所對應(yīng)的物體特征，構(gòu)建候選物體三元組，包括：

基于所述視頻三元組中每個視頻所對應(yīng)的物體特征，確定所述每個視頻對應(yīng)的第一物體相似度；所述第一物體相似度為所述每個視頻內(nèi)包含的物體之間的相似度；

基于每個所述第一物體相似度確定目標(biāo)候選物體，并基于所述目標(biāo)候選物體構(gòu)建所述候選物體三元組。

6.如權(quán)利要求3所述的視頻目標(biāo)檢測方法，其特征在于，所述基于所述候選物體三元組中每個候選物體對應(yīng)的物體特征，確定樣本視頻中目標(biāo)視頻幀所對應(yīng)的目標(biāo)候選物體特征，包括：

基于所述每個候選物體對應(yīng)的物體特征，確定所述樣本視頻中目標(biāo)視頻幀包含的物體對應(yīng)的第二物體相似度；

基于所述第二物體相似度對所述樣本視頻中目標(biāo)視頻幀包含的物體進行特征增強處理，得到所述目標(biāo)候選物體特征。