[發明專利]一種面向互補視角多人關系感知的合成數據生成方法

在審

• 申請號: 202210075601.3
• 申請日: 2022-01-22
• 公開（公告）號: CN114494554A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 馮偉;王飛凡;韓瑞澤;萬亮;李筱宇;楊嘉臨
• 申請（專利權）人: 天津大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/02;H04N5/265;H04N5/232
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種面向互補視角多人關系感知的合成數據生成方法，包括：設置行人類、群體類和演化類，并根據視頻生成的需求進行初始化；加載人物模型和場景建模，創建數據存儲路徑，隨機初始并存儲個體、群體和多視角相機的初始位置；設置個體、群體和相機的初始位置，將初始化的所有行人類、群體類對象分別加入行人類和群體類隊列中；按幀執行群體演化函數，通過演化函數判斷當前幀演化是否還未開始或已經完成來判斷是否執行演化，執行演化時將涉及的個體和群體移出隊列，演化結束后將新生成的個體和群體加入各自隊列中；按幀控制當前幀行人類和群體類隊列中所有剩余個體和群體的運動，并按幀控制相機的運動，存儲各視角相機下拍攝的包含行人和拍攝者的視頻數據；存儲該視頻中所有群體演化的種類、起始幀、終止幀信息。

技術領域

本發明涉及計算機視覺領域，尤其涉及一種面向互補視角多人關系感知的合成數據生成方法。

背景技術

相比于單視角固定相機視野覆蓋范圍有限，拍攝角度單一的缺陷，在面向戶外密集人員監控的場景中利用多視角(特別是頂視和水平視角構成的互補視角)相機拍攝視頻之間的關聯和數據進行協同分析，實現大范圍全場景動態監控具有重要的研究意義和發展前景。多人關系感知作為多人場景視頻分析中的典型任務，主要面向多人場景下不同個體與群組的關系演變過程，自然也得到了學術界的廣泛研究。

然而現有的基于深度學習的視頻分析技術，往往需要大量的訓練數據。而針對上述提到的多視角下多人關系感知視頻分析任務而言，拍攝與標注真實場景下的多人場景視頻數據卻十分困難，往往需要消耗大量的人力物力。

發明內容

本發明提供了一種面向互補視角多人關系感知的合成數據生成方法，本發明解決了多視角下多人關系感知視頻分析任務所需數據集的采集與標注成本巨大的問題，本發明借助3D開發工具如Unity引擎，利用3D人物模型和場景建模，通過編寫腳本來控制場景內人群的移動和行為動作，模擬生成接近真實場景下的多視角視頻數據，并同時生成視頻中所有群體演化的信息，還可以生成視頻每幀中人物的標注框位置、人物id及所屬群體的id等信息，以快速地生成大量且豐富的訓練數據，詳見下文描述：

一種面向互補視角多人關系感知的合成數據生成方法，所述方法包括：

設置行人類、群體類和演化類，并根據視頻生成的需求進行初始化；

加載人物模型和場景建模，創建數據存儲路徑，隨機初始并存儲個體、群體和多視角相機的初始位置；

設置個體、群體和相機的初始位置，將初始化的所有行人類、群體類對象分別加入行人類和群體類隊列中；

按幀執行群體演化函數，通過演化函數判斷當前幀演化是否還未開始或已經完成來判斷是否執行演化，執行演化時將涉及的個體和群體移出隊列，演化結束后將新生成的個體和群體加入各自隊列中；

按幀控制當前幀行人類和群體類隊列中所有剩余個體和群體的運動，并按幀控制相機的運動，存儲各視角相機下拍攝的包含行人和拍攝者的視頻數據；存儲該視頻中所有群體演化的種類、起始幀、終止幀信息。

其中，若生成視頻每幀中人物的標注框位置、人物ID及所屬群體的ID信息，則需要存儲所有人物在每幀下的位置、朝向和行為動作信息。

本發明提供的技術方案的有益效果是：

1、該方法旨在解決針對多視角下多人關系感知視頻分析任務的研究需要大量數據的支撐，而大量真實數據的采集與標注成本巨大的問題；該方法可以較為輕松的獲取多視角相機下視頻分析所需的訓練數據；

2、本發明可以為面向多視角(特別是頂視和水平視角構成的互補視角)多人關系感知的視頻分析任務生成大量且豐富的數據，同時比人為采集數據所花費的人力、物力少得多，并且標注也更加得快速、準確；