[發明專利]視頻目標檢測方法、裝置及圖像處理設備

有效

• 申請號: 201811527109.5
• 申請日: 2018-12-13
• 公開（公告）號: CN109635740B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 姜浩;曲曉超;楊思遠;張偉;萬鵬飛
• 申請（專利權）人: 深圳美圖創新科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 逯恒

本申請實施例提供一種視頻目標檢測方法、裝置及圖像處理設備，該設備中預存有MaskRCNN網絡，其中包括CNN模型、RPN、檢測分支及嵌入分支。圖像處理設備針對待檢測視頻的當前圖像幀，將當前圖像幀輸入CNN模型，得到第一特征圖；將第一特征圖輸入RPN，獲得多個候選區域，該候選區域為包括待檢測目標的區域；針對獲得的每個候選區域，嵌入分支生成與該候選區域對應的第一向量，在存儲的嵌入列表中查找是否存在與該第一向量相似的第二向量，若是，對該第一向量進行更新；檢測分支以更新后的該第一向量為時序信息對該候選區域的位置進行預測。

技術領域

本申請涉及圖像處理技術領域，具體而言，涉及一種視頻目標檢測方法、裝置及圖像處理設備。

背景技術

物體檢測作為計算機視覺中的經典研究領域已經有了多年的發展，但截至目前為止，大部分研究都集中在靜態圖像中的物體檢測上。對視頻圖像中的物體檢測研究相對較少。

目前，對視頻圖像中的物體檢測的研究主要集中于通過如下兩種方式在網絡中加入時序信息：第一、利用光流將上一幀的檢測結果warp(仿射變換模及扭曲)到當前網絡中，作為RGB通道之外的第四通道輸入；第二、在做非極大值抑制(Non-Maximum Suppression，NMS)時考慮前幾幀圖像的候選區域。

然而，上述兩種方式在實際應用中存在不穩定的情況。

發明內容

有鑒于此，本申請的目的在于提供一種視頻目標檢測方法、裝置及圖像處理設備，以至少部分地改善上述問題。

第一方面，本申請實施例提供一種視頻目標檢測方法，應用于圖像處理設備，所述圖像處理設備中預存有用于進行視頻目標檢測的MaskRCNN網絡，所述MaskRCNN網絡包括CNN模型、區域建議網絡RPN、檢測分支以及Embedding嵌入分支；所述方法包括：

針對待檢測視頻的當前圖像幀，將所述當前圖像幀輸入所述CNN模型，得到第一特征圖；

將所述第一特征圖輸入所述RPN，獲得多個候選區域，所述候選區域為包括待檢測目標的區域；

針對獲得的每個所述候選區域，所述嵌入分支生成與所述候選區域對應的第一向量，在存儲的嵌入列表中查找是否存在與所述第一向量相似的第二向量，若存在，則對所述第一向量進行更新；

所述檢測分支以更新后的所述第一向量為時序信息對所述候選區域的位置進行預測。

可選地，所述方法還包括：

若所述嵌入列表中不存在與所述第一向量相似的第二向量，則將所述第一向量作為第二向量插入到所述嵌入列表中。

可選地，對所述第一向量進行更新，包括：

通過以下計算式對所述第一向量V_t進行更新：

V_t＝γV_t+(1-γ)x

其中，γ表示權重，x表示所述當前圖像幀的前一圖像幀中的候選區域的第一向量。

可選地，所述方法還包括：

通過以下計算式對所述嵌入分支的損失進行計算，并根據計算結果對所述嵌入分支的參數進行調整：

其中，表示當前圖像幀中第i個被檢測的候選區域，表示所述嵌入列表中與該第i個被檢測的候選區域對應的第二向量，為所述嵌入列表中任意一個不同于該第二向量的其他第二向量，α表示最小間隔，表示當前圖像幀中第i個被檢測的候選區域所對應的特征表達，表示所述嵌入列表中與該第i個被檢測的候選區域對應的第二向量所對應的特征表達，表示所述嵌入列表中任意一個不同于該第二向量的其他第二向量所對應的特征表達。