[發明專利]用于檢測目標對象的方法的和裝置

在審

• 申請號: 202010536869.3
• 申請日: 2020-06-12
• 公開（公告）號: CN112307872A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 潘瀅煒;姚霆;梅濤
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了用于檢測目標對象的方法和裝置，涉及人工智能、圖像處理領域。該方法包括：獲取視頻中的圖像幀序列；采用基于圖像幀之間的光流估計的第一特征聚合網絡提取圖像幀序列的第一聚合特征；采用基于對圖像幀進行時空采樣的第二特征聚合網絡提取圖像幀序列的第二聚合特征；基于圖像幀序列的第一聚合特征和第二聚合特征，基于預先訓練的檢測網絡檢測視頻中的目標對象。采用本方法可以提高目標檢測的準確性。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及人工智能和圖像處理領域，尤其涉及用于檢測目標對象的方法和裝置。

背景技術

圖像中的目標檢測是計算機視覺的基本任務之一。近來目標檢測的方法基于區域的檢測模式來進行設計。而針對由連續圖像幀形成的視頻中的目標對象的檢測任務，需要考慮目標對象在時空中的連續性來提升檢測結果的準確性。目標對象的檢測問題包括檢測目標對象的位置以及確定目標對象的類別。目前的一些視頻檢測技術采用逐幀提取圖像特征并檢測目標對象可能的區域，在相鄰幀之間根據目標對象的移動連續特性定位目標對象可能出現的區域，然后對可能的區域內的目標對象進行分類識別。

發明內容

本公開提供了一種用于檢測目標對象的方法、裝置、電子設備以及計算機可讀存儲介質。

根據本公開的第一方面，提供了一種用于檢測目標對象的方法，包括：獲取視頻中的圖像幀序列；采用基于圖像幀之間的光流估計的第一特征聚合網絡提取圖像幀序列的第一聚合特征；采用基于對圖像幀進行時空采樣的第二特征聚合網絡提取圖像幀序列的第二聚合特征；基于圖像幀序列的第一聚合特征和第二聚合特征，采用預先訓練的檢測網絡檢測視頻中的目標對象。

在一些實施例中，上述采用基于圖像幀之間的光流估計的第一特征聚合網絡提取圖像幀序列的第一聚合特征，包括：采用第一特征聚合網絡將圖像幀序列中的各非目標幀的特征與圖像幀序列中的目標幀的特征聚合為第一聚合特征，第一特征聚合網絡采用光流估計方法對非目標幀與目標幀進行運動補償；上述采用基于對圖像幀進行時空采樣的第二特征聚合網絡提取圖像幀序列的第二聚合特征，包括：基于自學習的偏移量預測網絡預測圖像幀序列中的各非目標幀相對于圖像幀序列中的目標幀的偏移量，以及基于偏移量將各非目標幀的特征與目標幀的特征聚合為第二聚合特征。

在一些實施例中，上述基于偏移量將各非目標幀的特征與目標幀的特征聚合為第二聚合特征，包括：基于各非目標幀與目標幀的偏移量，對各非目標幀進行采樣，基于采樣結果生成目標幀的第二聚合特征。

在一些實施例中，上述第一特征聚合網絡還包括第一特征金字塔網絡，第二特征聚合網絡還包括第二特征金字塔網絡；上述采用基于圖像幀之間的光流估計的第一特征聚合網絡提取圖像幀序列的第一聚合特征，還包括：采用第一特征金字塔網絡提取圖像幀序列中各圖像幀的第一多尺度特征；上述采用基于對圖像幀進行時空采樣的第二特征聚合網絡提取圖像幀序列的第二聚合特征，還包括：采用第二特征金字塔網絡提取圖像幀序列中各圖像幀的第二多尺度特征。

在一些實施例中，上述將圖像幀序列中的各非目標幀的特征與圖像幀序列中的目標幀的特征聚合為第一聚合特征，包括：將各非目標幀的第一多尺度特征映射至目標幀，并對各目標幀映射至目標幀的各尺度的特征進行聚合得到第一多尺度聚合特征；以及上述基于自學習的偏移量預測網絡預測圖像幀序列中的各非目標幀相對于圖像幀序列中的目標幀的偏移量，以及基于偏移量將各非目標幀的特征與目標幀的特征聚合為第二聚合特征，包括：基于各圖像幀的第二多尺度特征，采用第二特征聚合網絡中的偏移量預測網絡預測各非目標幀相對于目標幀在各尺度的偏移量，并基于非目標幀相對于目標幀在各尺度的偏移量對各非目標幀的第二多尺度特征在對應的尺度上進行采樣，對各尺度的采樣結果進行聚合得到第二多尺度聚合特征。