[發明專利]面向互補視角多目標協同跟蹤的虛擬視頻生成方法

在審

• 申請號: 202210075589.6
• 申請日: 2022-01-22
• 公開（公告）號: CN114445540A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 馮偉;韓瑞澤;王飛凡;王松
• 申請（專利權）人: 天津大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/02;G06F16/78
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，其特征在于，所述方法包括：

1)加載人物模型和場景建模，創建數據存儲路徑，隨機初始并存儲行人和多視角相機的初始位置；

2)設置行人和相機的初始位置，按幀控制行人和相機的運動，并存儲各視角相機下拍攝的包含行人和拍攝者的視頻數據；

3)刪除場景建模，并將各視角相機的渲染背景設置為純黑色，設置行人和相機的初始位置與步驟2)相同，每次只顯示一人，按幀控制行人和相機的運動，并存儲各視角相機下拍攝的該人純黑背景視頻數據；

4)重復步驟3)，直至所有行人和拍攝者的單人純黑背景視頻數據存儲完畢；

5)根據步驟4)中得到的所有單人純黑背景視頻計算得到步驟2)中得到的各視角視頻中每幀所有人的矩形標注框位置及其ID；

6)去除步驟5)中得到的各視角視頻中每幀中被遮擋嚴重人物的標注框，輸出剩余的標注框。

2.根據權利要求1所述的一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，其特征在于，所述多視角相機為頂視視角相機和水平視角相機，水平視角相機包括4種類型；

其中，所述4種類型為：

(1)拍攝者站在人群外部，向人群中心拍攝，拍攝者不移動，同時相機視野也不移動；

(2)拍攝者站在人群外部，向人群中心拍攝，相機左右擺動鏡頭，拍攝者跟隨鏡頭轉動；

(3)拍攝者站在人群外部，向人群中心拍攝，拍攝者會圍繞人群進行圓周運動，在移動過程中相機左右擺動，拍攝者跟隨鏡頭轉動；

(4)拍攝者站在人群內部，向背離人群中心的位置拍攝，拍攝者不移動，但隨著相機擺動。

3.根據權利要求1所述的一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，其特征在于，所述行人的移動速度為：

n為場景中人物總數

賦予人物模型一個基準旋轉速度ω＝5°/幀和最大偏移旋轉速度Δω＝10°/幀，并約定每個人的旋轉速度為：

n為場景中總人數。

4.根據權利要求1所述的一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，其特征在于，所述各視角視頻中每幀所有人的矩形標注框位置及其ID的生成方法具體為：

在第一遍生成完虛擬場景視頻后，會再運行(行人總數+拍攝者總數)遍，ID從0到(行人總數+拍攝者總數-1)，每一遍都是第一遍運行過程的完全復現；

在第一遍運行時對隨機生成的人物的位置、動作，相機的位置數據進行存儲，保證之后的運行與第一遍完全相同；從第二遍開始，每遍只顯示一個人，通過一遍的運行得到各視角下只包含該人物的虛擬視頻；

第一遍運行結束后，移除場景文件，將所有拍攝相機的渲染背景設置為純黑色，得到每個人物在所有相機下只包含單個人物且其它背景全為黑色的虛擬視頻；

對于背景全黑只有人物不是黑色的圖片，直接遍歷圖片中的所有像素，找到最小非黑像素橫坐標xmin、最小非黑像素縱坐標ymin、最大非黑像素橫坐標xmax、最大非黑像素縱坐標ymax，則(xmin,ymin)和(xmax,ymax)即為該人物標注框的左上和右下坐標。

5.根據權利要求1所述的一種面向互補視角多目標協同跟蹤的虛擬視頻生成方法，其特征在于，所述去除步驟5)中得到的各視角視頻中每幀中被遮擋嚴重人物的標注框具體為：

將本幀中所有的標注框按面積大小由大到小排序，從左到右遍歷所有未刪除的標注框，在遍歷過程中再遍歷當前選中標注框所有右側未刪除的標注框，若兩者標注框的交疊面積超過面積較小標注框面積的1/2，則刪除較小面積的標注框。