[發明專利]面向互補視角多目標協同跟蹤的虛擬視頻生成方法

在審

• 申請號: 202210075589.6
• 申請日: 2022-01-22
• 公開（公告）號: CN114445540A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 馮偉;韓瑞澤;王飛凡;王松
• 申請（專利權）人: 天津大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/02;G06F16/78
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，所述方法包括：1)加載人物模型和場景建模，創建數據存儲路徑，隨機初始并存儲行人和多視角相機的初始位置；2)設置行人和相機的初始位置，按幀控制行人和相機的運動，并存儲各視角相機下拍攝的包含行人和拍攝者的視頻數據；3)刪除場景建模，并將各視角相機的渲染背景設置為純黑色，設置行人和相機的初始位置與步驟2)相同，每次只顯示一人，按幀控制行人和相機的運動，并存儲各視角相機下拍攝的該人純黑背景視頻數據；4)重復步驟3)；5)根據步驟4)中得到的所有單人純黑背景視頻計算得到每幀所有人的矩形標注框位置及其ID；6)去除每幀中被遮擋嚴重人物的標注框。

技術領域

本發明涉及計算機視覺領域，尤其涉及一種面向互補視角多目標協同跟蹤的虛擬視頻 生成方法。

背景技術

相比于單視角固定相機視野覆蓋范圍有限，拍攝角度單一的缺陷，在面向戶外密集人 員監控的場景中利用多視角(特別是頂視和水平視角構成的互補視角)相機拍攝視頻之間 的關聯和數據進行協同分析，實現大范圍全場景動態監控具有重要的研究意義和發展前景。 多目標感知作為多人場景視頻分析中的典型任務，主要包括：多目標檢測、關聯與時續跟 蹤，自然也得到了學術界的廣泛研究。

然而現有的基于深度學習的視頻分析技術，往往需要大量的訓練數據集。而針對上述 提到的多視角下多目標感知視頻分析任務而言，拍攝與標注真實場景下的多人場景視頻數 據卻十分困難，往往需要消耗大量的人力物力。

發明內容

本發明提供了一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，本發明解決了 多視角下多目標感知視頻分析任務所需數據集的采集與標注成本巨大的問題，借助3D開 發工具如Unity引擎，利用3D人物模型和場景建模，通過編寫腳本來控制場景內人群的 移動，模擬生成接近真實場景下的多視角視頻數據，并同時生成視頻中所有目標的矩形標 注框及其對應ID，以快速地生成大量且豐富的訓練數據，詳見下文描述：

一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，所述方法包括：

1)加載人物模型和場景建模，創建數據存儲路徑，隨機初始并存儲行人和多視角相 機的初始位置；

2)設置行人和相機的初始位置，按幀控制行人和相機的運動，并存儲各視角相機下 拍攝的包含行人和拍攝者的視頻數據；

3)刪除場景建模，并將各視角相機的渲染背景設置為純黑色，設置行人和相機的初 始位置與步驟2)相同，每次只顯示一人，按幀控制行人和相機的運動，并存儲各視角相機下拍攝的該人純黑背景視頻數據；

4)重復步驟3)，直至所有行人和拍攝者的單人純黑背景視頻數據存儲完畢；

5)根據步驟4)中得到的所有單人純黑背景視頻計算得到步驟2)中得到的各視角視 頻中每幀所有人的矩形標注框位置及其ID；

6)去除步驟5)中得到的各視角視頻中每幀中被遮擋嚴重人物的標注框，輸出剩余的 標注框。

所述多視角相機為頂視視角相機和水平視角相機，水平視角相機包括4種類型；

其中，所述4種類型為：

(1)拍攝者站在人群外部，向人群中心拍攝，拍攝者不移動，同時相機視野也不移動；

(2)拍攝者站在人群外部，向人群中心拍攝，相機左右擺動鏡頭，拍攝者跟隨鏡頭轉動；

(3)拍攝者站在人群外部，向人群中心拍攝，拍攝者會圍繞人群進行圓周運動，在移動過程中相機左右擺動，拍攝者跟隨鏡頭轉動；

(4)拍攝者站在人群內部，向背離人群中心的位置拍攝，拍攝者不移動，但隨著相機擺動。

其中，所述行人的移動速度為：

n為場景中人物總數