[發明專利]標注包括一組幀的視頻流的方法和裝置

有效

• 申請號: 201780052341.5
• 申請日: 2017-08-21
• 公開（公告）號: CN109644255B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 張瑞
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

本文公開了用于標注從視頻數據流中獲得的視頻軌道的系統和方法。如果視頻軌道中包含至少一個包含特定人物的感興趣區域，則所述視頻軌道被視為正向視頻軌道；如果視頻軌道不包含包含所述特定人物的感興趣區域，則所述視頻軌道被視為負向視頻軌道。視覺相似性模型使用正向袋進行訓練。

交叉申請

本發明要求2016年8月26日遞交的發明名稱為“標注包括一組幀的視頻流的方法和裝置(Method and Apparatus for Annotating a Video Stream Comprising aSequence of Frames)”的第15/248,684號美國專利案的在先申請優先權，該在先申請的全部內容以引入的方式并入本文本中。

技術領域

本發明大體上涉及視頻處理領域，尤其涉及基于視頻的對象跟蹤。

背景技術

視頻監控系統可用于跟蹤視頻中出現的對象。監控視頻還可以用于搜索視頻中出現的對象，包括人。現代視頻設備可以產生大量數據，手動審查不僅耗時，而且成本高效率低。可使用機器學習和計算機視覺技術來輔助監控。然而，行人重識別等監控任務通常需要基于監督機器學習的模型訓練，而監督機器學習需要依賴操作人員對視頻幀數據進行手動逐幀審查才能對單個圖像進行標注。因此，使用這種系統的成本很高。

發明內容

一種標注包括一組幀的視頻流的示例方法包括：掃描所述一組幀中的第一幀以搜索人物；向視頻軌道添加所述第一幀中可能包含所述人物的圖像的感興趣區域的表示；掃描所述一組幀中的下一幀以搜索所述人物，其中所述下一幀的所述掃描基于前一幀中所述感興趣區域的位置在所述下一幀的空間位置處開始；向所述視頻軌道添加所述下一幀中的感興趣區域的表示；以及基于所述視頻軌道中的至少一個所述感興趣區域是否包含特定人物的圖像為所述視頻軌道指定標簽。

在一些實施例中，所述第一幀中的所述感興趣區域的所述表示包括指示所述感興趣區域的位置和尺寸的一組坐標。

在一些實施例中，所述第一幀中的所述感興趣區域的所述表示包括從所述第一幀中的所述感興趣區域中提取的圖像數據。

在一些實施例中，所述方法還包括在所述指定之前，在顯示設備上顯示所述視頻軌道。

在一些實施例中，為所述視頻軌道指定標簽包括：如果所述視頻軌道中的至少一個所述感興趣區域包含所述特定人物，則為所述視頻軌道指定正標簽。

在一些實施例中，所述貼有正標簽的視頻軌道中包含所述特定人物的幀數小于所述貼有正標簽的視頻軌道中的總幀數。

在一些實施例中，所述視頻流包含不止一個人物的圖像，并且所述視頻軌道包括多個視頻軌道，其中所述多個視頻軌道中的每一個對應于所述相應不止一個人物中的每一個。

在一些實施例中，所述第一幀和所述下一幀是所述視頻流中的連續幀。

在一些實施例中，所述掃描所述第一幀包括分析像素數據。

在一些實施例中，所述分析包括基于所述像素數據計算元數據。

在一些實施例中，所述掃描所述第一幀包括：分析滑動窗口內包含的所述第一幀的一部分；以及確定所述部分包含所述人物的概率。

在一些實施例中，所述方法還包括基于所述貼有標簽的視頻軌道針對所述特定人物構建相似性模型。

在一些實施例中，所述構建包括使用多實例學習算法來構建。