[發(fā)明專(zhuān)利]一種基于弱監(jiān)督學(xué)習(xí)的視頻目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110759622.2
• 申請(qǐng)日: 2021-07-05
• 公開(kāi)（公告）號(hào): CN113420707B
• 公開(kāi)（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 朱錦雷;井琨;許野平;朱愛(ài)紅
• 申請(qǐng)（專(zhuān)利權(quán)）人: 神思電子技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V10/774;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 濟(jì)南泉城專(zhuān)利商標(biāo)事務(wù)所 37218
• 代理人: 趙玉鳳

本發(fā)明提供一種基于弱監(jiān)督學(xué)習(xí)的視頻目標(biāo)檢測(cè)方法，通過(guò)設(shè)計(jì)新型注意力網(wǎng)絡(luò)模型，基于較少的全標(biāo)注數(shù)據(jù)及海量簡(jiǎn)單標(biāo)注數(shù)據(jù)，使網(wǎng)絡(luò)模型的空間及通道注意力機(jī)制高效工作，從而可以基于海量樣本進(jìn)行弱監(jiān)督訓(xùn)練學(xué)習(xí)，取得高精度的目標(biāo)檢測(cè)效果。注意力網(wǎng)絡(luò)模型是實(shí)現(xiàn)高精度物體檢測(cè)的必要技術(shù)手段，但是在目標(biāo)識(shí)別過(guò)程中，所關(guān)注的區(qū)域熱點(diǎn)可能會(huì)受到運(yùn)動(dòng)背景物體的干擾，有些輸入數(shù)據(jù)預(yù)測(cè)結(jié)果較好，而另一些則很差，本方法引入了位置注意力內(nèi)部損失函數(shù)，通過(guò)在視頻中跟蹤目標(biāo)區(qū)域，生成用于檢測(cè)的偽定位標(biāo)簽，用于注意力網(wǎng)絡(luò)模型的弱監(jiān)督訓(xùn)練，從而實(shí)現(xiàn)少量標(biāo)注樣本向海量樣本的高效遷移學(xué)習(xí)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于弱監(jiān)督學(xué)習(xí)的視頻目標(biāo)檢測(cè)，屬于圖像分析與機(jī)器學(xué)習(xí)領(lǐng)域。

背景技術(shù)

在圖像分析與識(shí)別領(lǐng)域，有監(jiān)督學(xué)習(xí)一般需要標(biāo)注海量的數(shù)據(jù)。當(dāng)基于視頻流檢測(cè)目標(biāo)或行為時(shí)，往往需要對(duì)視頻流中每幀圖像中的目標(biāo)進(jìn)行標(biāo)注，標(biāo)注工作量顯著增加。

通過(guò)半監(jiān)督、弱監(jiān)督、無(wú)監(jiān)督三種學(xué)習(xí)方式，可消除或減少訓(xùn)練模型對(duì)人工標(biāo)注樣本的依賴(lài)。一般認(rèn)為，半監(jiān)督學(xué)習(xí)是在有監(jiān)督學(xué)習(xí)得到模型基礎(chǔ)上，基于新的無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行二次無(wú)監(jiān)督訓(xùn)練得到新的模型。無(wú)監(jiān)督學(xué)習(xí)，指算法不依賴(lài)標(biāo)注樣本，自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)含的規(guī)律，按一定的損失計(jì)算方法進(jìn)行訓(xùn)練模型。弱監(jiān)督一般是基于標(biāo)記不正確、多種標(biāo)記、標(biāo)記不充分、局部標(biāo)記等的數(shù)據(jù)進(jìn)行訓(xùn)練模型。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于弱監(jiān)督學(xué)習(xí)的視頻目標(biāo)檢測(cè)方法，利用特定目標(biāo)在指定區(qū)域內(nèi)視頻片段位置及特征連續(xù)性特點(diǎn)，標(biāo)注數(shù)據(jù)時(shí)只需要指定該視頻片段中該目標(biāo)的大概出現(xiàn)的視頻幀位置及目標(biāo)類(lèi)別(幀標(biāo)注)，無(wú)需對(duì)視頻每幀圖像進(jìn)行詳細(xì)標(biāo)簽(段標(biāo)注)，該弱監(jiān)督訓(xùn)練學(xué)習(xí)方法通過(guò)設(shè)計(jì)網(wǎng)絡(luò)模型與系列損失函數(shù)實(shí)現(xiàn)了與有監(jiān)督學(xué)習(xí)性能相當(dāng)?shù)男Ч?/p>

為了解決所述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是：一種基于弱監(jiān)督學(xué)習(xí)的視頻目標(biāo)檢測(cè)方法，包括以下步驟：

S01)、輸入視頻片段至基準(zhǔn)模型，基準(zhǔn)模型針對(duì)輸入進(jìn)行視頻目標(biāo)檢測(cè)，輸出關(guān)鍵幀中的視頻目標(biāo)位置與類(lèi)別；

S02)、基于基準(zhǔn)模型的輸出計(jì)算損失函數(shù)，在損失函數(shù)驅(qū)動(dòng)下對(duì)基準(zhǔn)模型分兩步進(jìn)行訓(xùn)練，首先基于有目標(biāo)位置的帶標(biāo)簽樣本進(jìn)行預(yù)監(jiān)督訓(xùn)練，生成預(yù)訓(xùn)練模型，其次基于預(yù)訓(xùn)練模型和無(wú)目標(biāo)位置標(biāo)簽樣本對(duì)基準(zhǔn)模型進(jìn)行弱監(jiān)督訓(xùn)練，從而實(shí)現(xiàn)對(duì)基準(zhǔn)模型的優(yōu)化。

進(jìn)一步的，步驟S02的預(yù)監(jiān)督訓(xùn)練和弱監(jiān)督訓(xùn)練采用一系列子損失函數(shù)組合，各子函數(shù)分別為：

A、分類(lèi)交叉熵?fù)p失函數(shù)，

為了加速計(jì)算，基于對(duì)原始圖像網(wǎng)格化分割的基本思想，將輸入樣本按S×S網(wǎng)格等比例劃分，則相應(yīng)的分類(lèi)交叉熵?fù)p失函數(shù)為：

其中i為輸入樣本劃分網(wǎng)格的標(biāo)號(hào)，s²為網(wǎng)格數(shù)目，輸入樣本上鎖定目標(biāo)中心所需要的候選框模板數(shù)目為B，j為候選框模板的標(biāo)號(hào)，代表網(wǎng)格標(biāo)號(hào)為i、候選框模板標(biāo)號(hào)為j時(shí)，是否存在類(lèi)別為cls的目標(biāo)，存在時(shí)，否則為0；和P_i^j分別代表預(yù)測(cè)概率及實(shí)際標(biāo)簽；

B、位置損失函數(shù)，

首先，假設(shè)單幀圖像內(nèi)目標(biāo)位置損失如下：

其中，代表網(wǎng)格標(biāo)號(hào)為i、候選框模板標(biāo)號(hào)為j時(shí)，是否存在類(lèi)別為cls的目標(biāo)，存在時(shí)，否則為0，B為鎖定目標(biāo)中心所需要的候選框模板數(shù)目，s²為網(wǎng)格數(shù)目；分別代表樣本中標(biāo)注的橫向中心坐標(biāo)、縱向中心坐標(biāo)、目標(biāo)寬度、目標(biāo)高度及目標(biāo)可信度，代表相應(yīng)的預(yù)測(cè)值；λ_co為人工指定的加權(quán)系數(shù)，即為超參數(shù)；

由于輸入樣本是視頻序列片段，它由連續(xù)視頻幀構(gòu)成，所以序列位置損失定位為：