[發明專利]一種基于弱監督學習的視頻目標檢測方法

有效

• 申請號: 202110759622.2
• 申請日: 2021-07-05
• 公開（公告）號: CN113420707B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 朱錦雷;井琨;許野平;朱愛紅
• 申請（專利權）人: 神思電子技術股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 趙玉鳳

1.一種基于弱監督學習的視頻目標檢測方法，其特征在于：包括以下步驟：

S01)、輸入視頻片段至基準模型，基準模型針對輸入進行視頻目標檢測，輸出關鍵幀中的視頻目標位置與類別；

S02)、基于基準模型的輸出計算損失函數，在損失函數驅動下對基準模型分兩步進行訓練，首先基于有目標位置的帶標簽樣本進行預監督訓練，生成預訓練模型，其次基于預訓練模型和無目標位置標簽樣本對基準模型進行弱監督訓練，從而實現對基準模型的優化；

基準模型包括四個網絡分支，網絡分支一和網絡分支二采用復雜度不同的3D-CNN網絡，分別關注目標通道特征和空間特征，網絡分支三對通道和空間特征進行融合，網絡分支四用于計算視頻序列的目標位置損失；

步驟S02的預監督訓練和弱監督訓練采用一系列子損失函數組合，包括：

A、分類交叉熵損失函數，

為了加速計算，基于對原始圖像網格化分割的基本思想，將輸入樣本按S×S網格等比例劃分，則相應的分類交叉熵損失函數為：

其中i為輸入樣本劃分網格的標號，s²為網格數目，輸入樣本上鎖定目標中心所需要的候選框模板數目為B，j為候選框模板的標號，代表網格標號為i、候選框模板標號為j時，是否存在類別為cls的目標，存在時，否則為0；和P_i^j分別代表預測概率及實際標簽；

B、位置損失函數，

首先，定義單幀圖像內目標位置損失如下：

其中，代表網格標號為i、候選框模板標號為j時，是否存在類別為cls的目標，存在時，否則為0，B為鎖定目標中心所需要的候選框模板數目，s²為網格數目；分別代表樣本中標注的橫向中心坐標、縱向中心坐標、目標寬度、目標高度及目標可信度，代表相應的預測值；λ_co為人工指定的加權系數，即為超參數；

由于輸入樣本是視頻序列片段，它由連續視頻幀構成，所以序列位置損失定位為：

其中N為樣本序列的長度，Loss_loc(n；)代表視頻序列中第n幀圖像的位置損失；

C、偽位置損失函數，

偽位置損失關注兩個網絡分支關鍵幀之間的目標位置損失，定位為：

其中，是由網絡分支四生成的位置標簽，它作為位置損失計算的基準，是由網絡分支三生成的位置標簽；

D、跟蹤損失函數；

使用目標跟蹤函數計算臨近幀的目標位置，與網絡預測位置進行比較，形成目標追蹤損失，定義為：

其中為輸入序列clip的第n幀目標預測位置，為輸入序列clip的第n-1幀目標預測位置，通過追蹤器Tracker后，計算與之間的位置正則化損失；

E、特征連續性損失函數；

其中，X_g代表第g組視頻序列，其中有N幀圖像，d_g,n,l代表g組中第n幀與第l幀預測目標的余弦相似度，f(·)代表圖像中候選目標特征，對于批處理組中的第g-th視頻系列X_g，其內部相鄰兩幀中的候選目標特征距離用余弦距離表示，那么D_NCB代表鄰域特征距離矩陣，直觀上講，x_g,n與x_g,n+1的特征距離越近越好，所以，D_NCB中各特征距離的貢獻是不同，其貢獻值定義如下：

批處理組內特征連續性損失定義為：

其中ε為超參數，取值范圍為0至1之間，ε用于調整的概率密度，當d_c值分布較為集中時拉伸其分布空間。

2.根據權利要求1所述的基于弱監督學習的視頻目標檢測方法，其特征在于：預監督訓練階段，外部損失函數GL及內部損失函數IL定義為：

其中，predict_key輸入序列關鍵幀中的目標預測位置，truth_key為標簽判斷基準；在弱監督訓練階段，外部損失函數GL及內部損失函數IL定義為：

其中視頻序列clip的長度為N，γ為跟蹤損失影響系數，其調節區間為[1，N-1]。