[發明專利]多類物體檢測與識別的方法、設備及計算機可讀存儲介質

在審

• 申請號: 201810009329.2
• 申請日: 2018-01-05
• 公開（公告）號: CN110008789A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 潘偉森;李儉;高黎明
• 申請（專利權）人: 中國移動通信有限公司研究院;中國移動通信集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;安利霞

本發明實施例提供了一種多類物體檢測與識別的方法、設備及計算機可讀存儲介質。本發明根據視頻中連續的幀通常具有高度相似性和高冗余性的特點，本發明根據這個特點，引入了光流，只是對I幀，也就是關鍵幀，做CNN特征提取；對于非I幀，使用I幀已提取的特征進行傳播。在進行傳播這個環節，本發明提出的雙層光流網絡進行光流分析。通過引入光流，本發明大大提高了視頻檢測的速度，也提高了視頻檢測的精度。

技術領域

本發明涉及多類物體檢測與識別(VID，object detection from video)目標檢測技術領域，具體涉及一種多類物體檢測與識別的方法、設備及計算機可讀存儲介質。

背景技術

目標檢測在計算機視覺領域中占有非常大的比重。近年來深度學習技術在物體檢測方面的持續發展，為這個領域帶來了變革式的發展。一方面，新的卷積神經網絡從區域卷積神經網絡(RCNN到)快速區域卷積神經網絡(Fast RCNN)，再到更快區域卷積神經網絡(Faster RCNN)，不斷的刷新精準度；另外一個方面，深度神經網絡的SSD、YOLO、YOLOv2等算法，則是把處理的速度提高到越來越高的幀率。對于視頻來說，相鄰幀之間通常存在明顯的上下文關系，這種關系在技術上表現就是跟蹤(Tracking)。另外，視頻目標檢測中因為變形、遮擋、運動模糊(Blur)等因素可能導致目標在中間幀無法檢測到。視頻目標檢測(VID，object detection from video)已經成為一個重要的挑戰方向，目前的主要思路主要是結合幀間的上下文(Context)信息、跟蹤(Tracking)信息來構建深度學習的網絡。

基于圖片的物體檢測目前已經做得很成熟，比較有代表意義的就是使用FasterRCNN和YOLOv2做目標檢測和分割。但是，基于視頻的目標檢測目前還是有很大的問題，例如在視頻檢測處理的速度和精度上。例如，現有的視頻目標檢測通常是每個視頻幀上運行CNN來檢測目標，以目前先進的YOLOv2算法為例，通常一個圖像處理器(GPU)只能達到每秒幾十幀的處理速度，而這對于大量的視頻數據其速度是難以滿足要求的。因此，亟需一種視頻目標檢測方法，能夠提供視頻目標檢測的處理能力。

發明內容

本發明實施例要解決的技術問題是提供一種多類物體檢測與識別的方法、設備及計算機可讀存儲介質，提高多類物體檢測與識別的處理能力。

為解決上述技術問題，本發明實施例提供了一種多類物體檢測與識別的方法，包括：

確定視頻流中的當前視頻幀為關鍵幀或非關鍵幀；

在當前視頻幀為非關鍵幀時，將當前視頻幀之前的最近一個關鍵幀的圖像特征映射到當前視頻幀，得到當前視頻幀的圖像特征地圖；以及，在當前視頻幀為關鍵幀時，直接提取當前視頻幀的圖像特征，獲得當前視頻幀的圖像特征地圖；

根據當前視頻圖像幀的圖像特征地圖，進行目標檢測，獲得目標檢測結果。

本發明實施例還提供了一種多類物體檢測與識別的設備，包括：

確定單元，用于確定視頻流中的當前視頻幀為關鍵幀或非關鍵幀；

第一特征提取單元，用于在當前視頻幀為非關鍵幀時，將當前視頻幀之前的最近一個關鍵幀的圖像特征映射到當前視頻幀，得到當前視頻幀的圖像特征地圖；

第二特征提取單元，用于在當前視頻幀為關鍵幀時，直接提取當前視頻幀的圖像特征，獲得當前視頻幀的圖像特征地圖；

目標檢測單元，用于根據當前視頻圖像幀的圖像特征地圖，進行目標檢測，獲得目標檢測結果。

本發明實施例還提供了一種多類物體檢測與識別的設備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述計算機程序被所述處理器執行時，實現如上所述的多類物體檢測與識別的方法的步驟。