[發明專利]基于視頻的目標檢測方法、裝置、設備及存儲介質

有效

• 申請號: 201910360492.8
• 申請日: 2019-04-30
• 公開（公告）號: CN111860064B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 石大虎;譚文明
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/80
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李珂珂

1.一種基于視頻的目標檢測方法，其特征在于，所述方法包括：

獲取待檢測視頻中的連續N幀視頻圖像，所述N為大于1的整數；

調用目標檢測模型，所述目標檢測模型至少包括三維卷積層和目標檢測層，所述三維卷積層用于將所述N幀視頻圖像的特征進行卷積融合，所述目標檢測層用于基于卷積融合后得到的目標特征圖檢測出視頻圖像中的目標；

將所述N幀視頻圖像輸入至所述目標檢測模型中進行處理，輸出目標檢測結果。

2.如權利要求1所述的方法，其特征在于，所述目標檢測模型包括的三維卷積層的總數量為多個，所述將所述N幀視頻圖像輸入至所述目標檢測模型中進行處理，輸出目標檢測結果，包括：

將所述N幀視頻圖像輸入至所述目標檢測模型中；

依次通過多個三維卷積層對所述N幀視頻圖像進行卷積融合處理；

從所述多個三維卷積層的最后一個三維卷積層輸出的所有特征圖中確定所述目標特征圖；

通過所述目標檢測層對所述目標特征圖進行目標檢測處理，輸出所述目標檢測結果。

3.如權利要求2所述的方法，其特征在于，所述目標檢測模型還包括多個降采樣層，其中，所述多個三維卷積層中的每相鄰兩個三維卷積層之間包括至少一個降采樣層；

所述依次通過所述多個三維卷積層對所述N幀視頻圖像進行卷積融合處理，包括：

依次通過所述多個三維卷積層中的每個三維卷積層對所述N幀視頻圖像進行卷積融合，以及通過與所述每個三維卷積層連接的降采樣層對卷積融合處理后的特征圖進行降采樣處理。

4.如權利要求3所述的方法，其特征在于，所述多個三維卷積層中的前M個三維卷積層在時間維度上的卷積核的大小為1，所述多個三維卷積層中除所述前M個三維卷積層之外的其他三維卷積層在時間維度上的卷積核的大小大于1，所述M為大于或等于1且小于所述總數量的整數。

5.如權利要求3或4所述的方法，其特征在于，所述從所述多個三維卷積層的最后一個三維卷積層輸出的所有特征圖中確定所述目標特征圖，包括：

當所述降采樣層包括空間維度的降采樣和時間維度的降采樣時，將所述多個三維卷積層的最后一個三維卷積層輸出的特征圖確定為所述目標特征圖；

或者，

當所述降采樣層僅包括空間維度的降采樣時，從所述多個三維卷積層的最后一個三維卷積層輸出的所有特征圖中，將所述N幀視頻圖像中處于中間位置的視頻圖像對應的特征圖確定為所述目標特征圖；或者，確定所述多個三維卷積層的最后一個三維卷積層輸出的所有特征圖在時間維度上的平均值，將確定的平均值對應的特征圖確定為所述目標特征圖。

6.一種基于視頻的目標檢測裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取待檢測視頻中的連續N幀視頻圖像，所述N為大于1的整數；

調用模塊，用于調用目標檢測模型，所述目標檢測模型至少包括三維卷積層和目標檢測層，所述三維卷積層用于將所述N幀視頻圖像的特征進行卷積融合，所述目標檢測層用于基于卷積融合后得到的目標特征圖檢測出視頻圖像中的目標；

處理模塊，用于將所述N幀視頻圖像輸入至所述目標檢測模型中進行處理，輸出目標檢測結果。

7.如權利要求6所述的裝置，其特征在于，所述處理模塊用于：

當所述目標檢測模型包括的三維卷積層的總數量為多個時，將所述N幀視頻圖像輸入至所述目標檢測模型中；

依次通過多個三維卷積層對所述N幀視頻圖像進行卷積融合處理；

從所述多個三維卷積層的最后一個三維卷積層輸出的所有特征圖中確定所述目標特征圖；

通過所述目標檢測層對所述目標特征圖進行目標檢測處理，輸出所述目標檢測結果。